當 AI 遇上雲端從零探索 Agent 設計與雲端初體驗
吳哲丞 Reeve Wu
吳哲丞
Reeve Wu
LLM 應用與系統設計
資訊檢索 · 雲端架構與應用
Research and Development Intern
有問題，
隨時留下來。
概念、實作，或你想到的應用，
都可以放在這裡，我們一起聊。
最近，你請 AI
幫你做了什麼？
日常生活中的生成式 AI
幫我整理這份資料。
把這封 Email 改自然一點。
給我三個企劃方向。
它能不能幫我
把事情做好？
線上 AI 服務如何回應你的問題？
介面在眼前，背後的模型可以透過雲端提供服務。
生成式 AI 與雲端運算的搜尋趨勢
Google Trends · 全球相對搜尋熱度
如果 AI 能更懂你的需求，
你最想交給它哪件事？
讓 AI 按照你的工作方式提供協助
請用公司的產品資料回答。
語氣親切，先確認客戶需求。
價格不確定時，留給我確認。
把共通的方法與資料設定好，每次就能專注在眼前的任務。
把 AI 接進自己的網站與工作流程
從使用現成工具，到設計自己的使用體驗。
AI 應用需要哪些部分？
雲端可以提供模型運算、應用執行、資料儲存與其他服務。
兩堂課的主題與實作成果
AI 應該怎麼工作？
- 理解 AI 與 Agent 的基本概念
- 練習設計、測試與人機分工
如何成為可用的應用？
- 操作 Azure 與 Microsoft Foundry
- 打造能從瀏覽器使用的 AI 應用
第一堂理解與設計 AI；第二堂動手開發雲端應用。
今天的課程安排
今天你會帶走的三件事
不需要先會寫程式、學過機器學習，或用過 Azure。
課程案例：籌備一場 Career Night
位參加者的職涯之夜
教學情境 · 非真實活動即時資料
幫我寫一篇校園職涯分享活動的宣傳文案。
AI 如何產生這篇文案？
Prompt 如何影響模型輸出？
幫我寫活動宣傳文案。
寫給大學生，語氣自然一點。
強調探索不同職涯，不要像廣告。
在 Prompt 中補充受眾、語氣與重點，能讓模型更清楚你的需求。
大型語言模型（LLM）
大型語言模型能依輸入內容，處理摘要、翻譯、寫作等多種語言任務。
LLM 如何逐步生成文字？
一個 Token 可能是字、詞的一部分或標點；圖中切分僅作示意。
為什麼同一題會有不同回答？
模型會依 Context 產生可能的後續內容；其中的事實仍需要核對。
文案中的日期、地點與講者，
有資料可以確認嗎？
加入 Context：提供任務所需的資訊
Context 是模型這次回應時，可以參考的要求、資料與對話內容。
生成內容與查詢即時資料
把活動資料
寫得清楚、有吸引力。
理解 → 組織 → 生成
現在到底
有多少人報名？
查詢真正的報名系統
模型負責整理與表達；最新報名人數需要由報名系統提供。
接下來，要通知已報名的同學
請根據活動資料，
幫我寫一封行前提醒 Email。
如果草稿已經寫好，
參加者就收到通知了嗎？
從寫好 Email，到完成寄送
準備提醒信的主旨與內文。
取得收件名單、確認內容，
寄送後核對結果。
取得外部資訊，
執行實際操作
Tools 如何讓 AI 查詢資料或寄送 Email？
透過 Tool 查詢報名人數
查詢結果加入 Context 後，模型便能根據這筆資料回答。
透過 Tool 寄送提醒信
模型準備內容，Mail Tool 執行寄送，再把結果帶回系統。
固定 Workflow：每天檢查報名人數
排程、條件與執行順序由人預先設定，LLM 負責流程中的文案生成。
誰在決定下一步？
剛才的排程、條件與分支，都是事先設定好的。
報名不如預期。
請找出可能原因，協助我改善。
依查詢結果，逐步分析報名狀況
每次查詢都提供新的線索，幫助選擇下一步；原因假設仍需要驗證。
固定 Workflow 與 Agentic Execution
流程固定時，可選擇較容易預測與測試的 Workflow。
從 Model
到 Agent
目標、工作原則、資訊與工具如何一起運作？
Goal 與 Instructions 的角色
找出報名不佳的原因，
提出改善方案。
優先用正式資料。
不足先問，不自行補造。
建議要說明依據。
同一個 Model，因為 Instructions 不同，會呈現不同工作方式。
Agent Loop：判斷、行動與觀察
系統依目標與規則反覆執行；完成任務、缺少資訊或需要確認時停止。
Agent 如何記住
已經查到的資訊？
Memory 與 Context 的關係
Agent 的組成與運作方式
這張概念圖說明各部分如何協作；不同產品可能採用不同的名稱與分工。
Agent ≠ Model模型負責判斷與生成；Agent 系統還要協調資訊、工具與執行流程。
練習：辨認 Agent 各部分的角色
「查到 42 人後，繼續查曝光」需要哪些部分一起運作？
Context / Memory + Loop
引導實作：
建立兩隻 Agent
一起設定 Instructions、加入資料，觀察助手的回應。
接下來，一起建立兩種助手
幫我決定今天吃什麼
調整 Instructions，
讓助手先了解需求再推薦。
幫 Career Night 做宣傳
加入活動資料，
製作有依據的文案與視覺。
Agent 概念如何對應到 Gem 功能？
接著進入 Lab，實際設定並觀察這些功能。
美食助手的 Instructions 設計
你是一個美食推薦助手。
地點？人數？預算？飲食限制？
先確認地點、預算、人數與限制。
缺少什麼先問，不自行假設。
少量選擇，說明推薦理由。
不假裝知道即時店家資訊。
Instructions 可以描述角色，也可以交代資訊不足時的處理方式。
實作一：建立美食推薦 Agent
今天晚餐
吃什麼？
用同一題，
比較修改前後。
使用 Lab 中的第一版 Instructions
在 Gemini 建立助手，先設定角色與任務。
用新對話測試
輸入：「幫我推薦今天晚餐。」觀察它先做什麼。
修改 Instructions，儲存後再測
同一題、同樣條件、新對話，對照行為的差異。
觀察 Instructions 修改前後的回應
可以引用一句實際回應，說明修改後有哪些改善，或還有哪些問題。
加入 Knowledge：提供活動資料
工作原則放在 Instructions；日期、講者等活動資訊可由參考文件提供。
操作時，留意這三件事
跟著 Lab 操作，對照資料與實際產出。
實作二：建立活動宣傳 Agent
從活動資料，
做出宣傳素材。
跟著 Lab 的第二個案例，
觀察資料如何影響回應。
先設定 Instructions，不加入 Knowledge
詢問日期、地點與講者，觀察助手目前知道什麼。
加入三份 PDF，再核對活動資訊
活動簡介、講者資料、品牌指南；也問問未公告的餐點。
選擇方向，製作 Instagram 素材
先提出三個宣傳切角，再依選定方向產生貼文與圖片。
從宣傳文案到圖片生成
休息一下
喝口水、伸個懶腰。
有問題也可以先留在 Slido。
從跟著實作，到自行設計
設定指示與資料，
觀察回應是否符合預期。
釐清使用者的問題，
決定需要哪些資訊與能力。
Agent Design
從需求開始
誰遇到了什麼問題？希望 AI 協助完成什麼？
活動助手可能協助哪些工作？
練習：描述使用者與遇到的問題
社員每天私訊詢問時間、地點與報名方式。
資訊更新後，負責人偶爾回到舊版本。
Goal：怎樣算完成任務？
完成後，什麼會和現在不一樣？
目前的工作流程是什麼？
花時間的是查資料、切系統，還是理解與判斷？
哪些步驟適合交給 LLM？
任務需要哪些資訊？
依任務選取相關資訊，再整理成模型這次使用的 Context。
依任務需求選擇 Tools
只提供分析建議的助手，通常需要查詢能力，未必需要寄信或修改權限。
從需求分析到 Instructions
Instructions 範例：分析報名狀況
協助活動負責人找出報名問題，提出可執行建議。
寫清楚處理步驟與回應要求，測試時就有具體的觀察依據。
如何幫同學判斷 Career Night 適不適合自己？
一位同學想探索職涯，但不確定活動內容是否符合自己的興趣與需求。
哪些決定，
我們希望由人來確認？
AI 自主程度與人的參與
每種任務都可以依風險與需求，選擇合適的自主程度。
講者臨時不能出席。
我準備取消活動，通知全部 100 位參加者。
取消活動前，需要確認哪些事情？
決定是否交給 AI 前，要確認哪些事？
以「取消 Career Night，並通知 100 位參加者」為例
會改變誰的安排？
參加者、講者與場地都會受到影響。
執行後，還能撤回嗎？
草稿可修改；通知寄出後需要另行更正。
是否已確認替代方案？
也許可換講者、改形式，不一定要取消。
誰有權決定、誰負責通知？
由活動負責人確認，再授權後續操作。
即使由 AI 協助判斷，也需要明確約定誰有決策權、誰負責。
Human-in-the-loop：把人放進流程
行為規則與系統權限
重大對外通知前，
先請負責人確認。
只開放必要操作。
系統檢查身分、權限、核准。
依實際結果回報完成狀態。
Instructions 說明行為原則，系統則負責落實權限與核准要求。
討論：哪些操作需要人確認？
可以從影響範圍、能否復原、資訊是否充分，以及責任歸屬來考慮。
個人挑戰
設計你的 Agent
選擇一個任務，規劃助手的資料、工作方式與權限。
個人挑戰：三種任務方向
活動企劃顧問
幫主辦團隊檢查企劃，找出遺漏與衝突。
例如：流程排得下嗎？場地和預算夠不夠？
活動宣傳設計
幫宣傳同學製作吸引目標學生的貼文與圖片。
例如：如何介紹講者，讓同學知道為什麼值得參加？
參加者服務
幫有興趣的同學快速找到正確的活動資訊。
例如：怎麼報名、如何到場、有哪些參加規則？
為你的任務選擇 Knowledge
我需要判斷什麼？
哪份資料，才能支持這個判斷？
在 Lab 中瀏覽資料，
挑選與你選定的任務有關的內容。
兩種方式，選一種開始建立 Agent
從題目直接開始
瀏覽可用資料與工具。
自己規劃 Instructions，
建立並測試 Agent。
跟著 Lab 網頁逐步思考
依問題釐清需求與工作方式。
整理 Instructions 與所需資料，
再建立並測試 Agent。
完成後分享 Agent，以及你選擇的 Knowledge、Tools 與 Instructions。
準備三類測試情境
每題留下：輸入 → 預期 → 實際原句 → 依據與缺口。
開始建立你的 Agent
選一個任務，
做出你的版本。
自行設計或引導式建立，
都可以。
設計與建立
選擇資料與工具，設定 Instructions，建立 Agent。
測試與調整
試著提問，核對回應，再調整資料或工作原則。
準備分享
分享你的 Agent、Knowledge、Tools 與 Instructions。
分享你的設計與測試發現
一起看作品，也看看不同設計如何影響回應。
回看設計：任務如何影響資料選擇？
同一份資料庫，會因為服務對象與任務不同，選出不同的參考資料。
把期待寫成具體的工作方式
有了資料，再說清楚如何使用它，才形成完整的工作方式。
用測試，檢查它是否照你的設計工作
如果正式資料沒有說明，
助手會怎麼回答？
從實際回應找出問題，再決定要調整資料、工作原則，還是工具。
最後，決定 AI 和人如何一起完成工作
依委派範圍決定分工：AI 可以協助選方向，也可以先提供選項給人。
擴充與協作
Agent Ecosystem
多個助手如何共用工具、重用工作方法，以及分工合作？
多個 Agent 如何共用外部系統？
共用外部能力的連接方式，可以減少重複串接與維護。
MCP：連接外部能力的共同協定
支援 MCP 的應用，可以用一致的方式連接 Server 提供的工具與資訊。
透過 MCP，跨應用使用既有能力
共同協定讓工具能服務不同開發商的應用，支持第三方工具生態系發展。
如何管理多種任務的工作方法？
宣傳內容製作流程
講者邀請完整流程
活動前檢查完整流程
活動後問卷整理流程
所有工作方法，
都要一直放在
主要 Instructions 裡嗎？
Skills：按任務載入工作方法
Skill 範例：活動前檢查
Skill 說明檢查步驟、判斷重點，以及遇到異常時的處理方式。
在不同 Agent 中重用同一個 Skill
方法可以重用；各個 Agent 使用的資料、工具與權限仍需各自設定。
Skills 與 MCP 如何搭配？
一個 Agent 配多個 Skills，還是多個 Agent？
可以從角色、Context、權限與責任範圍，判斷是否需要拆分 Agent。
Multi-Agent：角色分工與資訊交接
同一個服務任務，因為所需資料與權限不同，才將子任務交給另一個角色。
練習：選擇 MCP、Skills 或 Multi-Agent
MCP 協助連接外部能力，Skills 整理工作方法，Multi-Agent 處理角色分工。
回顧：如何選擇
合適的 AI 系統？
從活動案例，回到日常與工作上的需求。
哪些工作需要
Agent 來決定下一步？
練習：為日常與工作選擇 AI 方案
比較每個任務需要的資訊、操作步驟，以及下一步如何決定。
AI 系統的設計判斷流程
這些方案可以組合使用；依任務需要，加入資訊、流程或自主判斷。
More
Flexibility
路徑可以隨發現改變
More
Complexity
更多測試、延遲、成本與監督
選擇自主程度時，也需要一起考慮可靠性、延遲與維護需求。
任務增加時，如何安排 AI 分工？
依角色、資訊與權限需求，決定是增加工作方法，還是拆分不同角色。
回到你的日常與工作，
有哪件事，可以用更簡單的方法？
又有哪件事，需要 AI
根據中間結果選擇下一步？
先理解需求，
再選擇適合的 AI 設計。目標、工作流程、資訊來源、工具，以及人的參與。
Gem 使用了哪些雲端服務？
Gemini 提供既有的應用環境，讓我們專注在助手的設定與測試。
使用雲端時，可以自己管理哪些部分？
可以依需求選擇管理範圍，並安排相應的維護工作。
下一堂：建立 AI 雲端應用
從介面到 AI 能力，在雲端把一個應用搭起來。
一起動手操作 Azure，
打造自己的第一個
AI Agent 雲端應用。
下一堂，親手把 AI 能力接成雲端應用。