← 回到首頁
#Transformer 2 篇文章
不同專家處理，怎麼還拼得出通順的句子？拆解 MoE 的真正運作
MoE 把一句話分給不同專家處理，那拼回來怎麼還會通順？這其實是個誤會——根本沒有「拼句子」這一步。本文用最白話的方式講清楚 MoE 怎麼把字一個一個吐出來，順帶戳破「MoE 一定比較快」這個被簡化過頭的說法。
#LLM#MoE#Transformer#模型架構#推理
Dense、MoE、Hybrid：Transformer 的 FFN 有三種長法
DeepSeek-V3 寫著 671B 總參數、只啟動 37B；Snowflake Arctic 是 480B 總量、17B active。同樣叫 Transformer，差在哪？答案不在注意力，而在每一層的 FFN——本文拆解 Dense、MoE、與兩種 Hybrid 的結構差異。
#LLM#Transformer#MoE#模型架構