親子健康建議心得描述：：iyouyong： 血液制品：中期是yi情后，市場積累的大病手術需求會回歸。這三年，市場很多手術需要被壓制和延后。那么，可能會因為放開而得到一波釋放。博雅生物,異動關注 非主流價投老師： Q3情況特斯拉：比亞迪 銷量，0.64 ：1 營收，1.27 ：1 毛利潤，1.86 ：1 其中汽車業務毛利率，27.9%：22.5% 運營費用：0.92 ：1 其中研發費用：0.97 ：1 凈利潤，4.01 : 1 凈資產，2.04 ：1 經營現金流，0.87 ：1 資本支出，0.57 ：1 自由現金流，1.6 ：1 1，從營收和現金流上看，兩者是旗鼓相當的企業，遠超其他電動車同行。 消費者市場對兩者的產品非常喜愛，提供可觀的購買力。他們可以獲得巨大的現金流量，以維持超過遠超同行的投入開支。 2，特斯拉依然有電動車全行業最好的毛利率（但持續下滑），是行業領先者，但比亞迪通過垂直整合和逐步提價，也做到了非常好的水平。 3，比亞迪在費用開支和資本開支方面，相比特斯拉，正進行超額支出，尤其是研發費用，首次反超。 更多的研發費用說明正在進行更多的新技術、新車型的研發儲備，更多的資本開支說明正在進行更多的產能擴張。 這些投入將來會回報成更多的營收增長。 4，但過高的費用支出，影響了當前比亞迪結余凈利潤的能力，其毛利潤規模可達特斯拉1/2以上，但凈利潤規模僅達其1/4的水平。 Q4即將結束，年報以后我會再發一篇同樣的帖子，比較Q4兩者的比例關系，讓大家看一下趨勢。 有幾個數據我可以提前預判： 1，營收，1.1 ：1，乃至1 ：1，基本持平。 2，汽車業務毛利率，24%上下相會，基本持平。 3，在1&2基礎上，毛利潤、凈利潤，等各項財務指標都會被快速接近，凈利潤在3：1 ~ 3.5：1。 進行更多開支 -> 帶來更多營收增長 -> 帶來更多毛利潤 -> 帶來更多凈利潤，這是一條傳導鏈，也是后進者反超先進者必須要進行的四部曲。 當前已經過了四部曲的第一部，Q4可能會看到第二部。 如果特斯拉依舊沉迷在自己的兔子的美夢里，沒有切實行動，尤其是決心支出更多研發費用，去開發更多新車型、新技術。 那出現營收被追平以后，毛利潤、凈利潤也就不遠了，睜眼發現烏龜突然出現在身邊。 幾個季度以內，比亞迪跟特斯拉的季度凈利潤可以預期到1：2的水平。 特斯拉(TSLA)比亞迪(SZ002594) 帝都七爺： Fyi//@帝都七爺: 西安飲食(SZ000721) 果真屎出來了吧！ 牛起2019： 今年真的太難了，就差哭暈過去。感覺自己沒怎么成長，倒是身體和精神都遭受了折磨。 個人持倉虧損最大的板塊來源是新能源。我一直關注一些雪球大V，曾以為他們就是標桿，很厲害。后來發現，有些大V水平值得懷疑。我也沒見過他們的交割單，但看他們管理的基金收益率比我要爛的多。我不知道這些人為何如此冠冕堂皇，每天要么發些雞湯和人盡皆知的投資準則，要么一根筋。后來，我想可能是自己沒有他們臉皮厚，所以達不到像他們那樣表面風光。我的新能源持倉虧損最大的就是逆變器陽光電源和硅片隆基綠能。按我以前的風格，絕不會買這種公司，管理水平如此之低的公司。但我迷信了某大V，天天吹光伏的大V。我不怪他們，只怪自己太天真。以后，就是天王老子我也不信，只遵從自己的投資準則。 盈利最多的是天齊鋰業。今年4月底它跌到58元時，幾乎全倉，后來邊漲邊跑，一直漲到120元多才拋完。這次讓我感覺，行業景氣度超高的龍頭股一定要捂住。股價趨勢和邏輯演繹契合時，要減少頻繁交易。事前要研究清楚，建倉要分批。有想象力且邏輯硬的公司，要拿的住、敢重倉！ 今年最大的挑戰并非虧損，而是自己的風格漂移。如果我一直堅持以前的風格，大概率今年會有不錯的收益。我以前堅持強基本面選股，不是很在意圖形。如果暴跌，通常會主動左側買入。10月份后，風格一下子就切換到游資模式，結果導致11月-12月根本就沒賺到錢，甚至還一度出現了虧損。題材股的波動極大，暴跌時若不快速止損，后果不堪設想。我就出現了幾次開始大賺，最后還虧損出局的結果。題材股來錢塊，但不及時止盈就會出現虧損。我以前喜歡與好公司長期談戀愛的方式就成了炒題材最致命的弱點。所以，今后一定要設定嚴厲規范自己的操作。 最后，在我看來，投資是一種游戲，也是體現自己價值觀的方式。作為一名普通老百姓，我衷心希望自己的國家強大，國人能過上幸福的生活。但前期的yi情防控確實讓人感覺無奈，最近的突然開放又讓很多人措不及防。幾千年的歷史了，我們什么時候才能少一點人或呢？2023年即將來臨，希望能發生一些積極的變化。對于明年我不悲觀，明年的回報率設定為翻倍吧！似乎有點好高騖遠，但我一定會努力實現！ 帝都七爺： 上證指數(SH000001) Fyi 帝都七爺： 麥趣爾(SZ002719)12月21首板上穿年線，次日早盤競價建倉。穩穩地三板了已經！ 等你演完： 看到雪球上，一些炒了沒幾年股的人，標榜自己看了多少書學習，我覺得挺可笑的。這炒股其實就是研究賭術，既然是賭術，那么實戰大于一切。唯一能快速進步的方法，就是拿出一筆錢（少了練不出心態，多了虧掉翻不了身），去把各種坑真金白銀的踩一遍。 芯片ETF(SH512760)中國船舶(SH600150)中國平安(SH601318) 漁夫7號： 1藥網(YI) 3.66 私有化價格。現在這個價位，2023低風險20%回報。 鎮天-如落： 22年是個不平凡的一年，股市走的是下跌趨勢。以我的周期論看，把22年股市比作15年。有人說了，15年從5178跌下來的，而21年上證指數才3700多點，怎么比？光看指數，你當然感受不到，但如果看個股，就很同頻了。比如新能源的個股，很多到4月26日以前都打了3折，跟15年跌下來的互聯網是不是很同頻？而4月底到7月份的反彈，你拿新能源的個股反彈力度就要比其他板塊個股反彈力度大多了，翻倍的比比皆是。 22年對于我來說，是一個悟道的年份。股市里想穩定賺錢是有方法的，一直在追尋，22年終于找到。有人問了，那你22年賺多少？真的很慚愧，確實虧，一個賬戶虧5%，一個賬戶虧15%。其實四季度是可以把損失拿回來的，這里就不解釋了，事實是22年虧錢了。但我自己的周期論已經成型，也很好的預判了大盤的走勢。22年我通過INBM認識了趙鴻霖、山水兩位老師。在他們那里接觸了纏論，確實受益匪淺。現在一個周期論支撐我對各大指數中長線的判斷，一個纏論支撐短期判斷。 23年股市的目標。當然是翻倍！有人說了，這個目標可能么？平均年化20%就很高了。但我要說，其實不難。我們走著瞧。當然要做到翻倍，還有一個就是要保證一段時間的空倉。這個對我來說，還是挺難的。大家也都清楚，在股市里誰都想著每時每刻賺錢，但實際上頻繁操作并不能帶給你利潤。適合的時機重倉操作，才是你真正盈利的源泉。纏論就是告訴你這個時機是在哪里。別看我自己寫了《學會空倉》，并且頂置了，但在市場里面確實有時候管不住自己。這是23年要改正的地方。如果改正了這一點，那么23年的目標就不難了。好了，上面說了這么多廢話，下面我們說說市場。 從宏觀上看，市場的關鍵節點是美聯儲暫緩加息，這也是美聯儲轉向的關鍵。我們之前說過，市場見頂部區域，不是美聯儲停止加息，而是美聯儲透露預期加息。同理，市場的底部區域也就是美聯儲暫緩加息。這是國外情況。國內情況是我們口罩事件的放開，短期會有陣痛（失去親人），從這幾天北京的經濟生活上看，每天早晚，北京人熟悉的早晚高峰出現了，商場里也有了人流，公園里冰雪主題樂園，也是人頭攢動，大家玩的不亦樂乎。一切跡象表明，全國度過yi情高峰，將會迎來經濟恢復。那么23年的經濟增長肯定會高于22年，在股市里也會表現出來。 說完宏觀，我們再說說市場的走勢。我的周期論，可以給市場定性，23年一定是個結構性行情，一個滬（主板）強深（創業板）弱的走勢。下面我們看看上證指數年線圖。 上證指數這個年線圖，是個股評專家都會告訴你有一個趨勢線，這個趨勢線在21（20）年線有支撐。我就說一句，用我的周期論，上證指數會不完全復制2016年走勢。我們再看看創業板年線走勢圖，這個到目前為止，沒那么多股評家評論。 我們看到創業板守住了5年線，但我們并不樂觀。很多專家講，創業板指數22年跌了近30%，已經很多了，但是跟他從19年開始漲到21年的漲幅比，還是太少了。從圖中我們發現，創業板前面每漲3年，都會回調3年，19年到21年收了3根陽K線，今年第一年收陰線。還有一個，上證指數到了上升趨勢線的下沿附近，創業板離上升趨勢線還遠呢。當然很多人認為，你就會看圖說話，好吧，等23年底我們再回過頭看看如何。說完兩大指數，我們再簡單說說熱門板塊。 第一，新能源，我們看到新能源的主升浪實際上是在21年四季度。上證50跌了將近3年，食品跌了2年多，醫藥（大部分）跌了2年多，還有很多行業都是見頂后跌了2年，甚至3年。。。。，所以新能源。。。。。好吧，這里肯定會被新能源粉絲罵。其實也沒關系，你自己想想，之前有不少上證50粉，芯片粉。現在如何了？ 第二，證券，這個行業在股市里讓人又愛又恨。愛其爆發時，就是翻著跟頭上，恨其大多時候就是zha男。大家都喜歡，但我給證券2023年行情定個性，券商沒大機會。后面上個證券指數周線圖，不解釋，自己看。當然證券有階段性機會么？有，但都是小打小鬧而已。未來我會在《股票可以這樣玩三》說一個證券的玩法。 第三，房地產產業鏈，這里包括房地產、大金融（保險、銀行）、房地產行業其他相關。看好，未來上證指數，滬深300上漲的主力就是他們，注意介入時機。 22年已經過去，我們要總結22年交易的得失，以便23年有更好的收益。我相信23年股市會更好，最后祝大家新年快樂，闔家安康，萬事如意，心想事成，股市長紅！ 價值萬里路： 雪球現在這么差勁嗎？發新帖子舊帖子還在內容欄里面？有沒有搞錯。一年又過去了。虧了好多yi 7X24快訊： 【博雅生物：Ⅷ因子預計明年2月份獲批簽發，爭取達到5%市場份額】博雅生物近期接受機構調研時表示，今年PCC市場份額預計達12%—15%左右，銷售額預計達3000—4000萬元，未來隨著學術推廣的深入，市場份額有望得到進一步提升；Ⅷ因子預計明年2月份獲批簽發，明年重點工作在于市場開發，爭取達到5%市場份額。vWF因子目前正處于臨床試驗中，因疫情影響臨床研究的開展，預計該產品在2025年上半年可獲批上市。 帝都七爺： 西安飲食(SZ000721)再拉，shi就出來了！ MegEngineBot： 作者：曠視 MegEngine 框架開發師 - 李明鑫 編譯器本質上是一種提高開發效率的工具，將高級語言轉換為低級語言（通常是二進制機器碼），使得程序員不需要徒手寫二進制。轉換過程中，首要任務是保證正確性，同時需要進行優化以提升程序的運行效率。傳統意義上的編譯器的輸入通常是某種高級語言，輸出是可執行程序。在實際工作中接觸到了深度學習編譯器開發，其設計思想與傳統編譯器非常類似，所以本文以深度學習編譯器的開發、結合我們實際開發的深度學習編譯器 MegCC 為例，來說明如何寫一個編譯器。 本文主要分為以下兩個部分： 介紹深度學習編譯器，重點介紹編譯器中前端和后端的優化方法。 以 MegCC 為例介紹如何開發一個深度學習編譯器。 與傳統編譯器不同，深度學習編譯器的輸入是神經網絡模型、輸出是可運行在不同平臺的表達了輸入的神經網絡模型的計算過程的可執行程序。但深度學習編譯器又與傳統編譯器類似，都分為前端和后端，前端負責執行硬件無關的優化，后端負責執行硬件相關的優化。對編譯器來說，最重要的兩個概念是 IR(intermediate representation, 中間表示)和 Pass。對于人類來說，抽象是理解復雜事物的一種重要方式，IR 就是對編譯過程中間產物的抽象，IR 通常有多級，越高級的 IR 越抽象，越低級的 IR 越具體。Pass 定義了如何將高級 IR 逐步 lowering 到低級 IR，并負責進行優化。下面根據前端和后端進行分類，介紹優化的方法。 前端首先需要根據輸入的模型構建計算圖，生成 high-level IR，然后進行一系列的優化。由于優化是基于計算圖的，并不涉及具體計算，所以該優化是后端無關的。常見的優化手段有可分為三類：node-level optimizations；block-level optimizations； dataflow-level optimizations。 node-level optimizations。節點層面的優化主要是消除一些不必要的節點以及將某些節點替換為代價更小的節點。比如使用矩陣 A 與一個 0 維矩陣相加，則可消除該加法操作。 block-level optimizations。塊層面的優化主要有代數簡化和算子融合。a. 代數簡化，例如 A^T 和 B^T 進行矩陣乘，則可使用 B 與 A 矩陣乘之后進行轉置進行替換，可節約一次轉置運算。b. 算子融合是常見的深度學習的優化手段。算子融合雖然不能減少計算量，但是可以減少訪存量，提高計算訪存比，從而提升性能。 dataflow-level optimizations。數據流層面的優化主要有靜態內存規劃等。a. 靜態內存規劃通過在不發生內存重疊的前提下盡可能復用內存，使得程序運行時所使用的內存盡可能小。 后端通用的優化有循環展開、循環融合、掩蓋訪存等；另外根據硬件的不同，可使用基于硬件的指令映射、向量化等并行計算以及手工編寫匯編 kernel 等手段進行針對性優化。圖 1 展示了常用的后端優化方法[1]。 圖 1 后端常用優化方法 接下來就以 MegCC 為例概括介紹一下基于 MLIR 實現一個深度學習編譯器，其關鍵就是如何根據需求定義一系列 IR，以及定義 Pass 將高級 IR lowering 到低級 IR，同時進行上述優化。 MegCC 實現的原理是：深度學習模型在推理時候，每一個 Operator 都會對應一個計算 kernel 并完成計算，所以整個深度學習模型在推理時就是一次執行所有 Operator 的計算 kernel，執行完成之后就可以獲得最終推理的結果。傳統深度學習推理框架在運行時會做以下幾件事情： 計算圖優化 ----- 主要和模型相關。 Kernel 選擇 ----- 為模型的每個 Operator 根據參數選擇合適的 Kernel 進行計算。 內存分配 ----- 由模型以及模型中每個 Operator 執行的 Kernel 決定內存分配的大小。 執行每個 Operator 的 Kernel ----- 和推理的數據強相關。 在上述傳統深度學習推理需要完成的事情中，圖優化，Kernel 選擇，內存分配都是只和訓練好的模型相關和推理時候的輸入數據不相關，因此這些工作都可以放在模型編譯時完成，運行時僅僅執行每一個 Operator 的 Kernel 就可以完成推理。MegCC 就是將上面圖優化，Kernel 選擇，內存分配都放在 MegCC 的編譯階段完成，將 Operator 的 Kernel 計算才放到 Runtime 中進行計算，這樣有以下優勢： Runtime 非常輕量，比起傳統的推理框架小一個數量級，因為 Runtime 只包含了模型中所必須的 Kernel，不相關的不會被編譯進去。 提升性能，因為 Runtime 只做 kernel 計算，所以避免了不必要的開銷。 Kernel 性能優化，因為每一個 Kernel 都是針對每一個 Operator 定制的，因此可以根據 Operator 的參數進行更加深入的優化。 解決 Operator fuse 之后的算子長尾問題，比如對 conv 之后融合的 activation 的種類和數量沒有限制，可以支持更多的 fuse，也不造成 Runtime 的大小有明顯的改變。 另外 MegCC 的 runtime 使用純 C 實現，可以輕松移植到其他的嵌入式芯片中。 MegCC 主要包含兩部分，一部分是 compiler 部分，另外一部分是 runtime 部分，下面重點介紹與編譯相關的 compiler 部分。 Compiler 主要流程是： 依賴 MegEngine (我司開源深度學習框架)進行模型的導入和靜態圖優化（block-level optimizations，算子融合等）。 將優化后的模型轉換為基于 mlir 自定義的 MGB IR。 MGB IR 經過一系列 pass 經過 Abstract Kernel IR 最終轉換到 Kernel IR。 將 Kernel IR 導出為 runtime model 和 runtime kernel，供 MegCC 的 runtime 部分使用。 圖 2 MegCC compiler 流程 MegCC 中的 IR MegCC 基于 MLIR 定義了一系列的 IR。MLIR 的 IR 定義需要用戶定義 Dialect（詳見官方文檔），然后由 TableGen 在程序編譯階段轉換成 C++ 表示。 MGB IR：定義為和 MegEngine 中 Operator 一一對應，是 MegCC 導入進 mlir 系統的入口 IR，它包含了每個 Opr 的類型以及這個 Opr 對應的參數，其每一個輸入輸出變量都是 Tensor，并且是單賦值(SSA)的。詳見 GitHubMegCCMGBIR。 Abstract Kernel IR：抽象 Kernel 層 IR，主要上面 MGB IR 通過轉換之后得到，該 IR 中的輸入輸出已經 lowering 到 Buffer 了，因此不再是 SSA，另外 Opr 的屬性也由 MegEngine 中定義的枚舉值，轉變成為了字符串。詳見 GitHubMegCCAbstractKernelIR。 Kernel IR：表示已經生成 Kernel 之后的IR形式，其已經沒有 Opr 的概念，整個計算圖通過一個個對應的 Kernel 鏈接在一起，Opr 的參數等都固化在了定義好的 Kernel 中。詳見 GitHubMegCCKernelIR。 MegCC 中主要的 Pass MGBToKernelPass：這個 Pass 主要將 MGB IR 轉換為 Abstract Kernel IR，轉換過程中主要完成幾件事情： 將 MGB IR 中的所有輸入輸出 Tensor 類型轉換為 Buffer 類型。 將 MGB IR 中的所有枚舉參數轉換為對應的字符，這樣 Abstract Kernel IR 就可以完全和 MegEngine 解耦。 將一些內存搬運相關的 Opr 全部轉換為 Relayout，如：Concat，SetSubtensor 等 Opr（node-level optimizations）。 將判斷 Opr 是靜態 shape 還是動態 shape，動態 shape 就是輸入 tensor 的 shape 需要依賴輸入的值才能計算出來的，如：輸出一個 tensor 中所有大于 1 的數。如果是靜態 shape 直接轉換到 Abstract Kernel IR，如果是動態 shape 直接轉換到 Kernel IR 的 Instruction 中。 MGBFuseKernelPass：應用在 MGB IR 上，基于 mlir的模板匹配的方法盡可能的完成 kernel 的融合，比如連續兩個 typecvt 合并成為一個 typecvt 等（block-level optimizations，算子融合）。 MemoryForwardingPass：將遍歷 Abstract Kernel IR 所有可能不用計算，直接 share 輸入內存的 Opr，如果這些 Opr 確實不用計算，則直接 forward memory，如果這些 Opr 需要進行內存搬運，則會用 Relayout Opr 替換原來的 Opr（node-level optimizations）。 KernelMaterializationPass：將所有 Abstract Kernel IR 都裝載上真正 Kernel code 并轉化為 KernelCall，然后添加對應的 KernelDef。KernelCall 和 KernelDef 之間通過 symbol 進行匹配。 StaticMemoryPlanningPass：將所有靜態 shape 的 memref 進行內存規劃，內存規劃算法使用改進的 MegEngine 的內存規劃算法--PushDown 算法，能夠極大程度的壓縮運行時內存使用量。同時將 mlir 的 memref.Alloc 替換為 Kernel IR 的 MemPlan，MemPlan 中主要記錄了內存規劃的一整塊 memref 以及該 Tensor 在規劃的內存中的偏移量（dataflow-level optimizations，靜態內存規劃）。 上面的 Pass 就完成模型的圖優化、內存規劃以及 Kernel 生成，上文提到的后端優化即在 Kernel 生成階段體現，目前 MegCC 主要使用人工優化的 Kernel 模版。最終可以根據 Runtime 中定義的模型格式 dump 編譯之后的模型，以及生成計算模型所需的 Kernel 文件。 下面以一個簡單的模型為例，使用 MegCC 的輔助工具(下載 Release 包) mgb-importer 和 megcc-opt，觀察經過各個 Pass 的處理 IR 的變化。也可使用 mgb-to-tinynn 工具直接完成模型的編譯過程，詳見 MegCC入門文檔。 dump 模型（使用 megengine） import megengine.functional as F import megengine.module as M import megengine.optimizer as optim from megengine import jit import megengine import numpy as np class MulAddNet(M.Module): def __init__(self): super().__init__() def forward(self, input): x = input * 2. x = x + 1.5 return x model = MulAddNet() model.eval() @jit.trace(symbolic=True, capture_as_const=True) def infer_func(data, *, model): pred = model(data) return pred data = megengine.Tensor([[1., 2.], [3., 4.]]) output = infer_func(data, model=model) print(output) infer_func.dump("MulAdd.mge", arg_names=["data"]) 2. importer 模型到 MGB IR ./bin/mgb-importer MulAdd.mge mulAdd.mlir cat mulAdd.mlir output: module { "MGB.ParamStorage"() {sym_name = "const<2>[2]", sym_visibility = "private", type = tensor<1xf32>, user_count = 1 : i32, value = dense<2.000000e+00> : tensor<1xf32>} : () -> () "MGB.ParamStorage"() {sym_name = "const<1.5>[4]", sym_visibility = "private", type = tensor<1xf32>, user_count = 1 : i32, value = dense<1.500000e+00> : tensor<1xf32>} : () -> () func @mulAdd(%arg0: tensor<2x2xf32> {mgb.func_arg_name = "data"}) -> (tensor<2x2xf32> {mgb.func_result_name = "FUSE_MUL_ADD3(const<2>[2],data,const<1.5>[4])[14]"}) { %0 = "MGB.Reshape"(%arg0) {axis = 7 : i32} : (tensor<2x2xf32>) -> tensor<2x2xf32> %1 = "MGB.ParamProvider"() {name = @"const<1.5>[4]"} : () -> tensor<1xf32> %2 = "MGB.ParamProvider"() {name = @"const<2>[2]"} : () -> tensor<1xf32> %3 = "MGB.Elemwise"(%2, %0, %1) {mode = 35 : i32} : (tensor<1xf32>, tensor<2x2xf32>, tensor<1xf32>) -> tensor<2x2xf32> return %3 : tensor<2x2xf32> } } 可以看到，在 importer 的過程中，乘法運算和加法運算被融合成了"FUSE_MUL_ADD3"。 3. MGBToKernelPass、MemoryForwardingPass 和 StaticMemoryPlanningPass ./bin/megcc-opt --MGB-to-Kernel --memory-forwarding --static-memory-planning mulAdd.mlir > mulAdd_final.mlir cat mulAdd_final.mlir output: #map = affine_map<(d0, d1) -> (d0 * 2 + d1)> module { "Kernel.WeightStorage"() {sym_name = "const<2>[2]", type = tensor<1xf32>, user_count = 1 : i32, value = dense<2.000000e+00> : tensor<1xf32>} : () -> () "Kernel.WeightStorage"() {sym_name = "const<1.5>[4]", type = tensor<1xf32>, user_count = 1 : i32, value = dense<1.500000e+00> : tensor<1xf32>} : () -> () func @mulAdd(%arg0: memref<2x2xf32> {mgb.func_arg_name = "data"}, %arg1: memref<16xi8> {mgb.func_arg_name = "kGlobalBuffer"}) -> (memref<2x2xf32, #map> {mgb.func_result_name = "FUSE_MUL_ADD3(const<2>[2],data,const<1.5>[4])[14]"}) { %0 = "Kernel.Reshape"(%arg0) {axis = 7 : i32, determined = true} : (memref<2x2xf32>) -> memref<2x2xf32, #map> %1 = "Kernel.GetWeight"() {name = @"const<1.5>[4]"} : () -> memref<1xf32> %2 = "Kernel.GetWeight"() {name = @"const<2>[2]"} : () -> memref<1xf32> %3 = "Kernel.MemPlan"(%arg1) : (memref<16xi8>) -> memref<2x2xf32, #map> "Kernel.FUSE_MUL_ADD3"(%2, %0, %1, %3) : (memref<1xf32>, memref<2x2xf32, #map>, memref<1xf32>, memref<2x2xf32, #map>) -> () return %3 : memref<2x2xf32, #map> } } 經過上面幾個 Pass，MGB IR 被轉換為了 Kernel IR 并進行了內存規劃。感興趣的話可以更細粒度地看每個 Pass 做的事情，使用 megcc-opt 的參數控制使用哪些 Pass。 Kernel 生成 MegCC Compiler 會為模型中的每個 Operator 生成一個對應的 Kernel 來完成計算。 目前 MegCC 中大多數 Kernel 為人工優化并提前寫好的 Kernel 模板，這些模板會根據具體的 Operator 參數生成對應的 Kernel。大多數為人工優化的 Kernel 的原因是：目前在 CPU 上不搜參的情況下，mlir 生成的 Kernel 性能和手寫的 Kernel 還有一定的距離，但是自動生成 Kernel 的方法長期來看是比較可取的。 MegCC 現已開源，倉庫地址：https://github.com/MegEngine/MegCC，歡迎試用、star、issue。 更多 MegEngine 信息獲取，您可以：查看文檔、和 GitHub項目 ^The Deep Learning Compiler: A Comprehensive Survey. MINGZHEN LI, YI LIU, etc. 2020. 帝都七爺： 人只能按內心世界的限度看世界，心中沒有的，世界上再多，也仍然看不見。內心世界貧乏的人，所見的世界也是貧乏的。世界本無定相，對不同人呈現不同面貌。所以，要讓你的心靈豐富，而閱讀七爺的帖子是主要途徑之一。 好啦，中國拉斯維加斯馬上開門，抓把漲停看看手氣！ 帝都七爺： Fyi//@帝都七爺: 穩了，龍壹來也！ 盛世云端展覽： 品牌展會，助力全球養老福祉產業實現跨越式發展： CISSE中國國際養老服務業博覽會，每年一屆，2023年定于5月5-7日在北京國家會議中心隆重舉辦。本次展會預計展覽面積達到28000㎡，參展觀眾數量達到60,000人，參展商數量和品牌達到600家。是集技術展示、新品發布、學術交流、貿易洽談、品牌宣傳為一體的綜合服務平臺。 自2010辦展，歷經數十年積累和沉淀的品牌展會，中福協養老展已發展成為全亞洲地區專業程度高、規模大、買家質量硬、影響力廣泛的“養老事業”專場展貿活動。大會將對參展品牌和產品進行嚴格篩選，設置智慧養老、老年生活用品、康復yi療、輔助器具、護理輔具、無障礙生活、養老服務、養老地產、健康領域等多個細分領域展區，全方位展示我國老齡產業發展成果，致力匯聚全球“養老領域”的前沿技術、產品和解決方案。展會旨在為各地養老機構、康復中心、民政采購、地方殘聯以及終端消費者等群體提供前沿涉老產品和服務，提供專業的合作、交流、學習、供需平臺，助力全球養老福祉產業實現跨越式發展。 多部門、多國家聯合推動CISSE北京老博會組展： CISSE北京老博會，由中國社會福利與養老服務協會和中國健康管理協會主辦，前后還獲得國際老齡聯合會（IFA）、北京市老齡工作委員會辦公室、中國社會工作聯合會、中國社會福利基金會、中國慈善聯合會、中國社會保障學會、北京市民政局、中國社會保險學會、美國駐華使館商務處、英國駐華使館國際貿易部、法國駐華使館商務處、荷蘭駐華使館衛生、福利、體育處，俄羅斯聯邦老年醫學及老年病理學協會......多部門 多國家的相關機構支持和參與。 為搭建養老行業政、產、研、學交流合作平臺，北京老博會聚焦以“提升養老服務質量、貼近老年人生活方式、關懷養老護理、加強智慧養老支撐、呼吁無障礙環境設施、加速發展康復輔具服務”等熱門話題，展會同期舉辦多場學術交流、技術培訓、峰會洽談等活動，為來自全球涉老相關領域的專家學者、服務機構代表、企業代表提供登臺演講交流的機會，zui大程度促進康復福祉領域各方有效聯動，引領產業新未來。 2023北京國際養老產業博覽會，北京老博會，北京養老展，中國國際養老服務業博覽會，智慧養老展，智慧穿戴展，護理保健展，居家照料展，老年用品展覽會，養老福祉展，無障礙設施展，醫養家具展 邀您2023年5月5-7日，相約北京國家會議中心，共襄盛舉！ 組委會秘書處：北京盛世云端國際展覽有限公司 帝都七爺： 上證指數(SH000001) 今天上證百股漲停，讓小散踏空！ 非主流價投老師： 回復@yi老板: 現在中國新能源車滲透率35%，銷量占全球的65%。美國滲透率7%，銷量占全球10%。請問美國啥時候滲透率能達到35%，啥時候銷量能超過中國，給個明確的時間吧，別光吹了。查看圖片//@yi老板:回復@非主流價投老師:比亞迪能賣到美國嗎？那誰占有美國市場大頭？別鉆進細枝末節看不清大局 說AI話長： 導語     圖1. ChatGPT生成的關于智能寫作的介紹 智能寫作指使用自然語言處理技術來自動生成文本內容。這種技術通過分析給定語料庫，學習文本的結構和語法，然后利用這些信息來生成新的文本。智能寫作可以用來快速生成高質量的文本內容，并且可以用來完成諸如文章寫作、報告生成和摘要提取等任務。 圖1為我們介紹了智能寫作的基本概念，而令人意想不到的是，這一段介紹的作者竟是AI本身！這一段AI自動生成的“自我介紹”既富有邏輯條理，又闡述了正確的知識，這便是當下最火熱的AIGC技術的威力！ 什么是AIGC？AIGC，即AI-generated Content，基于AI的內容生產，它是利用人工智能進行內容創作的方式，它被認為是繼PGC（Professionally-generated Content）、UGC（User-generated Content）之后的新型內容創作方式。AIGC在文本、圖像和音視頻等多領域都正在高速發展，近年來誕生了許多主打AIGC的創作體驗平臺，用戶可以輸入一句話讓AI合成一張與描述關聯的圖片，或者更為常見的是輸入一句文章的描述，或僅僅是一句故事的開頭，讓AI替你完成文章的續寫。智能寫作在我們的日常辦公中具有相當好的落地前景，例如新聞寫作、詩歌春聯、故事寫作、廣告文案、金融報告、行政文書等辦公場景，這些場景都有相關智能寫作產品得到應用，可以看到智能寫作技術能夠為包括資訊、金融、廣告、政法等各行各業的從業者提供便捷且高質量的文本寫作服務，幫助人們更快地理解和分析復雜的信息，從而幫助人們更好地做出決策，產生重要的價值。這一切生產力提高的愿景正在逐步成為現實，背后原因是技術的發展和提升，下圖為筆者整理的AIGC用于智能寫作的相關技術發展脈絡。 圖2. 文本寫作的相關重要技術 文本寫作技術在很長一段時間里以RNN Seq2Seq為主，發展遲緩，而當Transformer模型結構問世后，這一領域的技術發展迅速爆發，圍繞著Transformer的文本寫作技術噴涌而出，包括微軟亞洲研究院、谷歌AI、Facebook AI、OpenAI等諸多國際知名研究機構都紛紛投入，先后誕生了UniLM（2019）、MASS（2019）、T5（2020）、BART（2020）、GPT系列（2018-2022）等多個影響力顯著的研究成果。本文將沿著這條技術發展脈絡，從傳統的智能寫作到如今的前沿研究為讀者做詳細的闡述，并為大家介紹達觀數據的智能寫作產品實踐。 01任務定義 在深入了解相關技術之前，我們先對文本寫作任務進行一個數學上的形式化定義。文本寫作任務的核心是生成一個字符串組成的序列Y = （y1,...,yi,...,yn ）,其中yi∈ν，ν是一個給定的詞匯表。在大多數情況下，文本寫作需要以輸入作為條件進行生成，輸入的數據可能是文章主題，或者是文章的開頭句等等，我們用X表示輸入。基于以上定義，文本寫作任務建模可以表示為P(Y|X)  = P（y1,...,yi,...,yn |X)，其中P表示概率分布函數。 02數據集 寫作任務公開的評測數據集，在英文上有CommenGen、ROCStories、WritingPrompts等若干數據集，而在中文上有Couplets、AdvertiseGen等若干數據集，數據集的概述見表1。 表1. 文本寫作任務相關評測數據集 03評測指標 文本寫作任務需要量身定制的指標能夠對技術的優劣進行評測，通常寫作的好壞會從四個角度進行度量： 流暢度（fluency）：生成文本的流暢程度； 真實性（factuality）：生成文本在多大程度上反映了語境； 語法（grammar）：生成文本的語法正確性； 多樣性（diversity）：生成的文本是否具有不同的類型或樣式。 通常此類任務的評測最好的方式當屬人工，然而人工評測的成本巨大，為此，業界設計了以下幾種自動評測的量化指標，這些指標通常是量化生成文本和參考文本之間的相似度。比較常用的有基于詞匯和基于語義的相似度度量。3.1 基于詞匯 基于詞匯的度量是衡量單詞或短語單元的重合度，然后聚合到整體句子級相似度，包括： BLEU-n，計算生成文本和參考文本的n-gram單元的重合度，最為廣泛使用的是BLEU和BLEU-2； Self-BLEU，用來衡量生成文本的多樣性，即在多條不同的生成文本之間計算BLEU值，Self-BLEU越小則多樣性越強； ROUGE-n，同樣是計算生成文本和參考文本的ngram單元的重合度，不同點在于BLEU是重合n-gram數/生成文本n-gram數，而ROUGE是重合n-gram數/參考文本n-gram數，因此可以看做召回版本的BLEU； Perplexity（PPL）和Reverse PPL，PPL是在參考文本上訓練語言概率模型，然后用它計算生成文本的概率，概率越高則表示生成文本越流暢；而Reverse PPL則是在生成文本上訓練語言概率模型，然后反過來計算參考文本的概率，概率越高則表示生成文本越多樣。 3.2 基于語義 相比基于詞匯的方式，基于語義可以把字面不相似而語義相似的情況也納入考量，是一種更貼近人工評測的方式，這其中包括： dssm，利用深層語義相似模型分別將生成文本和參考文本映射到一個低維語義表示空間，并計算生成文本向量和參考文本向量的距離； BERTscores、BERTr、YiSi等，近年來涌現的基于預訓練模型的評測方法，利用BERT的embedding表示代替n-gram，計算生成文本和參考文本的相似性。 04重要技術脈絡 圖3. 文本寫作的相關重要技術 圖3列舉了文本寫作領域中部分影響力較大的相關技術。在很長一段時間里文本寫作是以基于RNN的Seq2Seq模型為主流技術，如圖4所示，其由兩個RNN網絡組成，第一個RNN是編碼器，第二個RNN是解碼器。模型先以循環單元將輸入文本編碼到隱向量，后再通過循環單元順序逐字解碼，順序解碼時將上一單元輸出和上一單元隱向量同時作為解碼器的輸入。RNN Seq2Seq生成的文本質量通常欠佳，時常伴有語法錯誤或語意不明的問題，主要原因是其逐字順序編碼解碼過程引起的誤差傳遞和放大。 圖4. RNN Seq2Seq模型示意圖 圖5. Transformer模型 隨著2017年Transformer模型結構（見圖5）的問世，世人驚嘆于其強大的捕捉超長距離依賴的特征表示能力，并且由于Transformer可以并行處理序列的特性，訓練效率相比RNN也大幅提升，于是文本寫作算法研究投入也極速地向Transformer傾斜，隨之孕育而生了一系列的預訓練模型（見表2），時至今日已經成為文本寫作技術的主流前沿代表。下文將為讀者重點一一闡述。 表2. 文本寫作的相關預訓練模型概述 AE=自編碼；AR=自回歸；SLM=標準語言模型；CTR=受損文本重建；NSP=下一句預測；FTR=全文重建。 當下文本寫作的主流前沿技術是從不同類型、結構組件和預訓練任務中衍化的若干種預訓練模型。本節內容將為讀者做重點介紹。 01UniLM UniLM的全稱是Unified Language Model，是2019年微軟亞洲研究院提出的生成式BERT 模型，和傳統的Seq2Seq不同的是，它只用了BERT，沒有Decoder部分。它集合了L2R-LM（ELMo，GPT），R2L-LM（ELMo）、BI-LM（BERT）以及Seq2Seq-LM幾個其他模型訓練的方式，所以叫Unified模型。圖6. UniLM模型概覽 UniLM的預訓練分為三個部分，Left-to-Right、Bidirectional以及Seq-to-Seq（見圖6）。 對于這三種方式，不同點只是Transformer的mask矩陣的改動而已： 對于Seq-to-Seq，前一句對后一句的Attention被mask，這樣一來前一句只能關注到自身，但不能關注到后一句；后一句每個詞向其之后的Attention被mask，只能關注到其之前的詞； 對于Left-to-Right，Transformer的Attention只關注這個詞本身以及前面的詞，后面的詞不做關注，所以mask矩陣是下三角矩陣； 對于Bidirectional，Transformer的Attention關注所有的詞，并且包含NSP任務，和原本的BERT一樣。 在UniLM的預訓練過程中，三種方式各訓練1/3的時間，相比原始BERT，其添加的單向LM預訓練加強了文本表示能力，而其添加的Seq-to-Seq LM預訓練也使UniLM能夠很好地勝任文本生成/寫作的任務。 02T5 T5的全稱是Text-to-Text Transfer Transformer，是2020年谷歌提出的模型結構，其總體思路是用Seq2Seq文本生成來解決所有下游任務：如問答、摘要、分類、翻譯、匹配、續寫、指代消解等。這個方式能夠使所有任務共享相同的模型，相同的損失函數和相同的超參數。圖7. T5思維框架 T5的模型結構是基于多層Transformer的Encoder-Decoder結構。與其他模型的主要區別是，GPT系列是僅包含Decoder結構的自回歸語言模型(AutoRegressive LM)，BERT是僅包含Encoder的自編碼語言模型(AutoEncoder LM)。圖8. T5預訓練目標示例 T5的預訓練分為無監督和有監督兩個部分： 無監督部分 無監督部分是采用類似BERT的MLM方法，不同的是BERT是mask單個詞，而T5是mask一段連續的詞，也就是text span。被mask的text span只用單個mask字符替換，也就是說對于mask后的文本而言，mask的序列長度也是不可知的。而在Decoder部分，只輸出被mask的text span，其它詞統一用設定的、、符號替換。這樣做有三個好處，其一是加大了預訓練難度，顯然預測一個長度未知的連續text span是比預測單個詞更難的任務，這也使得訓練的語言模型的文本表示能力更有普適性，在質量較差的數據上的微調適應性更強；其二是對于生成任務而言輸出的序列就是長度未知的，T5的預訓練很好適配了這一特性；另一個好處是縮短了序列長度，使得預訓練的成本得以降低。T5所采用的這種預訓練任務也被稱為CTR（Corrupted Text Reconstruction，受損文本重建）。 有監督部分 有監督部分采用GLUE和SuperGLUE中包含的機器翻譯、問答、摘要、分類四大類任務。核心是Fine-tune時把這些數據集和任務合在一起作為一個任務，為了能夠實現這一點它的思路是給每個任務設計了不同的prefix，與任務文本一同輸入。舉例說翻譯任務，把英語的“That is good.”翻譯為德語，那么訓練時就輸入“translate English to German: That is good. target: Das ist gut.”，而預測時則輸入“translate English to German: That is good. target:”，模型輸出預測“Das ist gut.”。其中“translate English to German:”便是為此項翻譯任務添加的prefix。 03BART BART的全稱是Bidirectional and Auto-Regressive Transformers，是2020年Facebook提出的模型結構。正如其名，它是一種結合了雙向編碼和自回歸解碼結構的模型結構。 圖9. BART的基本原理 BART的模型結構吸收了BERT的Bidirectional Encoder和GPT的Left-to-Right Decoder各自的特點，建立在標準的Seq2Seq Transformer model的基礎之上，這使得它比BERT更適合文本生成的場景；同時相比GPT，也多了雙向上下文語境信息。圖10. BART預訓練采用的[noise] BART的預訓練任務采用基本理念同樣是還原文本中的[noise]。BART采用的[noise]具體有： Token Masking：和BERT一樣，隨機選擇token用[MASK]代替； Token Deletion：隨機刪除token，模型必須確定哪些位置缺少輸入； Text Infilling：和T5做法類似，mask一個text span，每個text span被一個[MASK]標記替換。在T5做法基礎上，同時考慮了當text span長度為0，此時則插入一個[MASK]標記； Sentence Permutation：以句號作為分割符，將輸入分成多個句子，并隨機打亂； Document Rotation：隨機均勻地選擇一個token，以這個token為中心，旋轉輸入，選中的這個token作為新的開頭，此任務訓練模型以識別文檔的開頭。 可以發現相比起BERT或T5，BART在Encoder端嘗試了多種[noise]，其原因和目的也很簡單： BERT的這種簡單替換導致的是Encoder端的輸入攜帶了有關序列結構的一些信息（比如序列的長度等信息），而這些信息在文本生成任務中一般是不會提供給模型的； BART采用更加多樣的[noise]，意圖是破壞掉這些有關序列結構的信息，防止模型去“依賴”這樣的信息。針對各種不同的輸入[noise]，BART在Decoder端采用了統一的還原形式，即輸出正確的原始整句。BART所采用的這種預訓練任務也被稱為FTR（Full Text Reconstruction, 全文重建） 04GPTs GPT的全稱是Generative Pre-Training, 是OpenAI在自然語言處理領域的一項極為重要的研究。GPT是一個循序迭代的預訓練模型，其家族主要成員包括初代GPT、GPT-2、GPT-3、InstructGPT和如今炙手可熱的ChatGPT等。下面為大家逐一介紹。4.1 GPT 圖11. 標準Transformer Decoder（左）；GPT Decoder（右） 初代GPT是2018年OpenAI提出的一種預訓練語言模型，它的誕生相比BERT更早，它的核心思想是基于大量無標注數據進行生成式預訓練學習，然后在特定任務上進行微調。正因其專注于生成式預訓練，GPT的模型結構只使用了Transformer的Decoder部分，其標準結構包含了Masked Multi-Head Attention和Encoder-Decoder Attention（圖11左）。GPT的預訓練任務是SLM（Standard Language Model，標準語言模型），即基于上文(窗口)預測當前位置的詞，因此要保留Mask Multi-Head Attention對詞的下文遮擋，防止信息泄露。因為沒有使用Encoder，所以GPT的結構中去除了Encoder-Decoder Attention（圖11右）。 4.2 GPT-2 初代GPT的問題是微調下游任務不具備遷移能力，Fine-Tuning層是不共享的，為了解決這個問題，2019年OpenAI又推出了GPT家族新的成員：GPT-2。GPT-2的學習目標是使用無監督的預訓練模型做有監督的任務，與初代GPT相比，GPT-2有如下改動：1）模型結構去除Fine-Tuning層，所有任務都通過設計成合理的語句給語言模型進行預訓練，訓練需保證每種任務的損失函數都收斂；2）Layer Normalization的位置移動到了每個sub-block輸入的地方，在最后一個Self-Attention后面也加了一個Layer Normalization；3）采用了修正的初始化方法，在初始化時將殘差層的權重縮放到1⁄√N倍，N為殘差層的數量；4）Vocabulary規模擴展到了50257，輸入的上文大小由512擴展到了1024，使用更大的batch_size訓練。 GPT-2的多任務訓練使其擁有更強的泛化能力，當然這同時也是得益于其用了多達40G的訓練語料。GPT-2的最大貢獻是驗證了通過海量數據和大量參數訓練出來的模型有遷移到其它類別任務中而不需要額外訓練的能力。 4.3 GPT-32020年OpenAI在GPT-2的基礎上又進一步推出了GPT-3。GPT-3的做法更加簡單粗暴，模型整體結構和訓練目標與GPT-2基本無異，但GPT-3把模型尺寸增大到了1750億參數量（比GPT-2大115倍），并且使用45TB數據進行訓練。得益于驚人龐大的參數量，GPT-3可以在不做梯度更新的情況下使用零樣本、少樣本進行學習預測。 4.4 InstructGPT超大模型的GPT-3在生成任務的效果上確實達到了空前的效果，特別是零樣本和少樣本場景下成為最佳，但GPT-3面臨了一項新的挑戰：模型的輸出并不總是有用，它可能輸出不真實、有害或者反映不良情緒的結果。這個現象是可以被理解的，因為預訓練的任務是語言模型，預訓練的目標是在輸入的限定下使輸出的結果為自然語言的可能性最大化，而這其中并沒有“用戶需要安全、有用”的要求。為了解決這個問題，2022年OpenAI基于GPT-3發表了一項重要研究：InstructGPT，引入從人類反饋中強化學習(RLHF，Reinforcement Learning from Human Feedback)的技術。 圖12. InstructGPT操作過程 InstructGPT模型上基本和 GPT-3沒有太大變化，主要變化的是訓練策略，總體思路是標注人員對調用示例提供示范回答，然后用這些數據在模型上進行微調，從而使模型能夠做出更加合適的回答。 其訓練步驟分為三步： 收集示范數據，用監督訓練的方式訓練一個模型。從prompt數據集中采樣一部分進行人工標注，然后將其用于GPT-3的Fine-Tune； 收集對比數據，訓練一個回報模型。采樣一批數據輸入第一步Fine-Tune之后的模型，標注人員對模型的輸出按照優劣進行排序，然后用這些數據訓練一個回報模型； 用強化學習來優化模型的輸出。使用第二步得到的回報模型來對模型的輸出進行打分，將得分作為強化學習的獎勵，基于PPO（Proximal Policy Optimization）算法來微調生成模型。 由此產生的 InstructGPT在遵循指令方面，遠比GPT-3要好得多，同時InstructGPT也較少地憑空捏造事實，有害輸出的產生呈現小幅下降趨勢。4.5 ChatGPT現在讓我們回顧本文的開頭，那個為我們準確并有條理地解答了“什么是智能寫作”的AI模型——它就是ChatGPT，OpenAI于2022年11月30日正式發布了這一項最新研究。ChatGPT使用與InstructGPT相同的方法，使用來自人類反饋的強化學習（RLHF）來訓練該模型，改進點在于數據收集的方法（未具體公開）。圖13. ChatGPT操作過程 可以看到，ChatGPT的訓練流程與InstructGPT是一致的，差異只在于InstructGPT是在GPT-3上做Fine-Tune，而ChatGPT是在GPT-3.5上做Fine-Tune（GPT3.5是OpenAI在2021年四季度訓練的InstructGPT模型，在自動編寫代碼方面有較強的能力）。 縱觀從初代GPT到ChatGPT的發展，OpenAI證明了用超海量數據訓練超大模型，這樣得到的預訓練語言模型就足以應對自然語言理解和自然語言生成的各種下游任務，甚至不需要微調，零/少樣本一樣能夠應對。而在輸出的安全可控性上，OpenAI給出的答案是基于人力的強化學習：雇傭了40名標注人員全職工作近2年（標注時間官方未公開，筆者僅從GPT-3到ChatGPT大約兩年半時間間隔推測，因為強化學習需要不斷迭代），為模型的輸出進行標注反饋，由這些數據方可進行強化學習，指導模型優化。Transformer+超海量數據+超大模型+龐大人力+強化學習，造就了如今現象級的ChatGPT。 達觀數據的智能寫作應用實踐 寫作一直是企事業單位的重要工作內容，是公司數據資產的主要載體，是建立企業知識中臺的重要基石。基于此，達觀數據以NLP技術綜合業務需求，全力投入研發并打造了兩款智能寫作產品——達觀智能寫作助手和達觀智能文檔寫作。 01達觀智能寫作助手 達觀智能寫作助手是一款AI寫作工具，以AI技術綜合寫作場景需求，為內容創作和版式調整賦能，實現全場景的精彩表達，提升寫作效率和質量，成為寫作者的全能高效助手。 快速掃描全文，分析文章結構，識別出段落的類型，點擊即可一鍵應用統一樣式。達觀智能寫作助手將依據文檔及段落類型，推薦標準樣式，用戶也可以創建自定義的樣式庫。 圖14.達觀智能寫作助手智能樣式排版 對于各類豐富場景的自由寫作，當遇到寫作思路瓶頸時，達觀智能寫作助手借助內置的大語言模型算法能力，將根據已有段落的理解，自動續寫出若干種最貼合的下文，激發寫作人創作的靈感。 圖15.達觀智能寫作助手根據上文段落自動續寫 達觀智能寫作助手內置30萬+條素材，涵蓋公文、名人名言、古詩詞等類型。支持根據用戶輸入的想法、需求等描述性語句，通過智能分析搜索最適合的寫作素材。 圖16.達觀智能寫作助手支持據意查詢 達觀智能寫作助手通過拼寫檢查、語法檢錯和語法糾錯，嚴格校驗100多種常見錯誤，不放過任何差錯，確保文章高品質。 圖17.達觀智能寫作助手全面校對中文常見錯誤 達觀智能寫作助手能夠為各行各業的人員帶來巨大的價值： 新媒體運營：公眾號、小紅書、新聞稿等文案創作； 辦公室白領：政府、企事業單位員工等均可利用達觀智能寫作助手快速完成公文、報告、合同等文檔書寫； 創意寫作者：續寫提示，激發創作靈感，完成優質創作。 02達觀智能文檔寫作 達觀智能文檔寫作，是一款主要實現債券、基金、合同等各類業務文檔的智能寫作產品，實現從文檔的智能審閱到智能寫作的高度跨越。 針對市面共性需求，達觀智能文檔寫作產品已內置盡職調查報告、各板塊招股說明書、各債券類型的債券募集說明書、發行公告、持續督導核查報告等數十種文檔模板，并支持用戶根據業務需求修正及自定義。圖18.達觀智能文檔寫作預制模板庫 達觀智能文檔寫作可支持用戶自定義寫作模板，特別針對一二級市場及其他常用合同文檔寫作的需求，獨創了適用多數據、多表格的模板配置方式，支持模板中表格行數/列數自動判斷，數據占比、變動等信息自動計算，多數據融合匯總等功能，以方便快捷地實現各類文檔的便捷模板定義及寫作。圖19.達觀智能文檔寫作支持靈活的模板配置 達觀智能文本寫作不僅支持接口對接、數據庫對接的形式自動從外部數據源中獲取數據進行自動填充。同時，得益于達觀成熟的文本理解能力，支持從非結構化文本中提取結構化信息，包括實體字段、組合字段、元素字段（圖、表、段落、標題等）進行自動錄入。 以債承業務為例，系統可根據天眼查、企查查、WIND等第三方業務系統，及企業內部數據庫，如各類合同、往期財務數據、專利證照等信息，根據用戶自定義的模板信息完成文檔寫作任務，并根據NLP技術潤色加工行文結構，生成適合行業寫作風格及格式的文檔。圖20.達觀智能文檔寫作支持豐富的數據來源 針對非模板文檔寫作需求，達觀智能寫作利用行業最新算法技術實現摘要自動生成、自動續寫、實時聯想等功能。通過機器結合人工便捷實現各類文檔寫作。圖21.達觀智能文檔寫作AI輔助高度智能化 針對債承、股權、投研及法務財務等用戶對數據精確性、文本準確性的需求，達觀智能寫作可與智能文檔審核、智能文檔比對功能協同。寫作結果完成后可由AI對其數據邏輯性與一致性、語義標點規范性做審核。從細節入手，以人性化的交互設計降低用戶人工復核成本，充分滿足用戶在線流暢編輯超長文檔的需求。 圖22.達觀智能文檔寫作多功能協同，保障寫作結果準確性 目前，達觀智能文檔寫作產品已在頭部券商、基金公司部署應用。未來產品將持續積累，為用戶提供數字化智能轉型、建立企業知識中臺的便捷化、智能化利器。 AIGC用于智能寫作取得的進展確實令人驚嘆，但是我們也不得不認識到當下依然存在許多挑戰，包括： 缺乏創意：智能寫作的主要挑戰之一是AI算法很難生成真正原創和有創意的內容。雖然人工智能可以產生語法正確且連貫的高質量內容，但它可能缺乏真正創造性寫作所必需的人情味和洞察力； 對上下文的理解有限：智能寫作的另一個挑戰是，AI算法可能很難完全理解給定情況的上下文細微差別。例如，人工智能可能無法準確解讀書面內容中的語氣、情感或文化差異； 偏見問題：AI算法的好壞取決于它們所訓練的數據，如果訓練數據有偏差，人工智能的輸出也會有偏差。這可能會導致道德問題，例如刻板印象和歧視的長期存在； 高成本落地：開發和落地 AI 算法和系統非常昂貴，以目前取得不錯進展的技術來說普遍需要龐大的數據、算力乃至人工支持，這將對面向工業的智能寫作落地形成挑戰 總體而言，智能寫作AIGC仍有極大的潛力尚未充分發揮，未來的研究工作也會著重在如何克服上述的挑戰。未來可能會在融入人工意見和強化學習的基礎上，進一步通過設計相關維度的量化指標指導模型的優化。隨著效果的日益增強，相信會有更多研究工作投入到智能寫作的小樣本學習和模型壓縮技術上，降低落地成本，使得智能寫作產品能夠服務到每個人的日常工作中。作者：達觀數據  徐雪帆參考文獻 [1] Lewis M, Liu Y, Goyal N, et al. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension[J]. arXiv preprint arXiv:1910.13461, 2019. [2] Dong L, Yang N, Wang W, et al. Unified language model pre-training for natural language understanding and generation[J]. Advances in Neural Information Processing Systems, 2019, 32.[3] Li X L, Thickstun J, Gulrajani I, et al. Diffusion-LM Improves Controllable Text Generation[J]. arXiv preprint arXiv:2205.14217, 2022. [4] Li J, Tang T, Zhao W X, et al. Pretrained language models for text generation: A survey[J]. arXiv preprint arXiv:2105.10311, 2021. [5] Zhang H, Song H, Li S, et al. A survey of controllable text generation using transformer-based pre-trained language models[J]. arXiv preprint arXiv:2201.05337, 2022. [6] Liu Y, Gu J, Goyal N, et al. Multilingual denoising pre-training for neural machine translation[J]. Transactions of the Association for Computational Linguistics, 2020, 8: 726-742. [7] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J]. J. Mach. Learn. Res., 2020, 21(140): 1-67. [8] Zhang Z, Han X, Zhou H, et al. CPM: A large-scale generative Chinese pre-trained language model[J]. AI Open, 2021, 2: 93-99. [9] Xue L, Constant N, Roberts A, et al. mT5: A massively multilingual pre-trained text-to-text transformer[J]. arXiv preprint arXiv:2010.11934, 2020.[10] Montesinos D M. Modern Methods for Text Generation[J]. arXiv preprint arXiv:2009.04968, 2020. [11] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30. [12] Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback[J]. arXiv preprint arXiv:2203.02155, 2022.[13] Radford A, Narasimhan K, Salimans T, et al. Improving language understanding by generative pre-training[J]. 2018. [14] Radford A, Wu J, Child R, et al. Language models are unsupervised multitask learners[J]. OpenAI blog, 2019, 1(8): 9. [15] Brown T, Mann B, Ryder N, et al. Language models are few-shot learners[J]. Advances in neural information processing systems, 2020, 33: 1877-1901.[16] ChatGPT: Optimizing Language Models for Dialogue. 網頁鏈接 等你演完： 回復@VHIYI-FUTERS_qazs: 去澳門，要機票要住酒店，成本高。你能在澳門賭10年來學經驗？炒BTC要連外網，要盯盤，你一個小散兼職賭一下，沒那精力。另外，BTC是一個可用看圖線的方法收割韭菜的地方，我身邊一90后真用20萬賺到2000萬，就一年時間。不過人家之前做股票日內回轉交易員做了7年，也算是賭術的回報。//@VHIYI-FUTERS_qazs:回復@等你演完:真賭的話去澳門不更快？炒炒BTC也比你炒股強啊 岢岢yi： 橫有多長，縱有多高，今天算是筑好了20.20底部平臺了，不太像繼續往下砸的趨勢了，就看啥時候起、起多高了//@岢岢yi:縮量下穿5日線，如果明天無法放量修復，繼續背離，跌破前期平臺，風險將放大//@岢岢yi:易華錄(SZ300212) 收盤穩住5日線，成交繼續壓縮，明天大概率放量拉高，目標直接串三線，沖擊力20日上方等待明天驗證 帝都七爺： Fyi