Szu-Yao Chien

Posts文章

Insights on AI strategy, modelling, and what it takes to put state-of-the-art models into production.分享 AI 策略、模型建構，以及將先進模型真正落地到生產環境所需的實務經驗。

From RAG Prototype to Deployment Decision: A CFPB Case Study
Gen AI生成式 AI15 Jul 20262026年7月15日

From RAG Prototype to Deployment Decision: A CFPB Case Study從 RAG 原型到部署決策：CFPB 案例研究

A practical guide to designing and evaluating RAG through a LangChain complaint-triage case study—and deciding why the prototype is suitable for a controlled analyst-assistance pilot, but not autonomous deployment.本文透過一個以 LangChain 建構的申訴分流案例，說明如何設計與評估 RAG 系統，以及為何這項原型適合進入受控的分析師輔助試點，卻尚不足以支援自主部署。

38 min read閱讀約 66 分鐘

LLM Fine-Tuning: Teaching a Small Model to Analyze 10-K Risk Disclosures
Gen AI生成式 AI1 Jul 20262026年7月1日

LLM Fine-Tuning: Teaching a Small Model to Analyze 10-K Risk DisclosuresLLM 微調：教小型模型分析 10-K 風險揭露

A practical guide to supervised fine-tuning, PEFT, LoRA, and QLoRA—covering dataset design, loss masking, leakage-resistant evaluation, and a hands-on experiment with SEC 10-K risk disclosures.一份關於監督式微調、PEFT、LoRA 與 QLoRA 的實用指南，涵蓋資料集設計、損失遮罩、可防資料外洩的評估方法，以及一項以 SEC 10-K 風險揭露為題的實作實驗。

23 min read閱讀約 44 分鐘

LLM Serving: Continuous Batching, Distributed Execution, and Service-Level Objectives
Gen AI生成式 AI26 Jun 20262026年6月26日

LLM Serving: Continuous Batching, Distributed Execution, and Service-Level ObjectivesLLM 服務部署：連續批次處理、分散式執行與服務等級目標

How do you serve 10,000 concurrent users? A deep dive into continuous batching, disaggregated prefill architectures, and multi-GPU parallelism to meet strict Service-Level Objectives in production, plus a troubleshooting quick-reference.要如何同時服務一萬名並發使用者？本文深入探討連續批次處理、分離式預填充架構，以及多 GPU 平行化，說明如何在正式環境中達成嚴格的服務等級目標，並附上疑難排解快速參考。

16 min read閱讀約 24 分鐘

LLM Inference: How KV Caching and PagedAttention Save LLM Inference
Gen AI生成式 AI25 Jun 20262026年6月25日

LLM Inference: How KV Caching and PagedAttention Save LLM InferenceLLM 推論：KV 快取與 PagedAttention 如何拯救 LLM 推論

When models scale, memory becomes the enemy. A deep dive into the engineering behind prefill and decode bottlenecks, and the memory management breakthroughs that make real-time generative serving feasible.當模型規模擴大，記憶體就成了最大的難題。本文深入探討預填充與解碼瓶頸背後的工程原理，以及讓即時生成式服務得以實現的記憶體管理突破。

19 min read閱讀約 30 分鐘

LLM Pretrain: Anatomy of a Decoder-Only Transformer
Gen AI生成式 AI20 Jun 20262026年6月20日

LLM Pretrain: Anatomy of a Decoder-Only TransformerLLM 預訓練：拆解純解碼器為主的Transformer架構

A rigorous, step-by-step breakdown of the LLM generation engine. Unpack the exact mechanics of RoPE, causal self-attention, and grouped-query attention to see how a prompt becomes a prediction.本文一步步拆解 LLM 的生成引擎——深入 RoPE、因果自注意力機制與分組查詢注意力的確切運作機制，看清一個提示詞究竟是如何變成一個預測結果的。

16 min read閱讀約 27 分鐘

How We Got to LLMs: From Word2Vec to the Transformer
Gen AI生成式 AI15 Jun 20262026年6月15日

How We Got to LLMs: From Word2Vec to the Transformer大型語言模型是怎麼來的：從 Word2Vec 到 Transformer

Four architectural leaps—word embeddings, RNNs, the Transformer, and scale—each one a fix for the last one's limit, and the reason today's LLMs are capable, confident, and occasionally wrong.四次架構躍進——詞嵌入、RNN、Transformer 與規模化——每一次都是為了解決前一階段的極限，也正是今日 LLM 既強大，卻又偶爾出錯的原因。

25 min read閱讀約 47 分鐘