跳到主要內容
← 回到首頁
#LLM 7 篇文章

OpenAI Responses API 拆解：為推理與 Agent 時代打造的全新介面

多輪對話要手動存 messages 陣列、快取容易失效、自訂工具還要來回跑 Callback？本文拆解 OpenAI 全新的 Responses API 如何用有狀態設計解決這些痛點，並優化推理模型與內建工具。

#OpenAI#API#Agent#LLM

Pydantic 入門：用型別註解打造 Python 的執行期資料驗證

從 Java/JavaScript 開發者的視角理解 Pydantic，涵蓋核心概念、常用功能，以及它為何成為 FastAPI 與 LLM structured output 的基石。

#Python#Pydantic#FastAPI#LLM

不同專家處理，怎麼還拼得出通順的句子？拆解 MoE 的真正運作

MoE 把一句話分給不同專家處理，那拼回來怎麼還會通順？這其實是個誤會——根本沒有「拼句子」這一步。本文用最白話的方式講清楚 MoE 怎麼把字一個一個吐出來，順帶戳破「MoE 一定比較快」這個被簡化過頭的說法。

#LLM#MoE#Transformer#模型架構#推理

ReAct：讓語言模型邊想邊做，而不是閉著眼睛猜

為什麼語言模型會自信地編出一個錯答案？因為它只會「想」，碰不到外面的世界。ReAct（Reason + Act）把推理和行動交織成一個迴圈：想一步、做一步、看一步。本文用一段實際的 trace 和一個最小可跑的 Python 迴圈，講清楚 ReAct 的原理，以及它和今天 AI agent 的關係。

#ReAct#AI Agent#LLM#Reasoning#Tool Use#Chain-of-Thought

Temperature、Top-K、Top-P：三個參數，其實在管同一件事

同樣的提問，為什麼模型每次回答都不一樣？因為它不是在「想答案」，而是在抽籤。Temperature、Top-K、Top-P 這三個參數，控制的就是這場抽籤怎麼抽——本文用一個具體例子把它們講清楚。

#LLM#Sampling#生成式 AI

Dense、MoE、Hybrid：Transformer 的 FFN 有三種長法

DeepSeek-V3 寫著 671B 總參數、只啟動 37B；Snowflake Arctic 是 480B 總量、17B active。同樣叫 Transformer，差在哪？答案不在注意力，而在每一層的 FFN——本文拆解 Dense、MoE、與兩種 Hybrid 的結構差異。

#LLM#Transformer#MoE#模型架構

Harmony vs ChatML：兩代對話協定差在哪

很多人預設開源模型都吃 ChatML，但 OpenAI 為推理設計的 Harmony 是另一套協定。本文拆解兩者的世代差異——多 channel、角色階層、控制 token——以及為什麼你用 OpenAI-compatible API 呼叫時根本碰不到這層。

#LLM#Harmony#ChatML#API