Introduction to Generative AI 2024 Spring

Course Materials

Date	Topic	Slides (PDF)	Slides (PPT)	Videos	Extra Materials
2/23	課程內容說明	course intro gai	course intro gai	課程規則第0講：課程說明第1講：生成式AI是什麼？	80分鐘快速了解大型語言模型 80分鐘快速了解大型語言模型
3/1	提示工程 & AI 代理人	universal prompt part1	universal prompt part1	第2講：今日的生成式人工智慧厲害在哪裡？從「工具」變為「工具人」第3講：訓練不了人工智慧嗎？你可以訓練你自己	Prompt Engineering Guide
3/8	生成策略 & 從專才到通才	prompt part2	prompt part2	第4講：訓練不了人工智慧？你可以訓練你自己 (中)	語言模型如何學習使用工具語言模型如何學習使用工具
3/22	深度學習 & Transformer	prompt part3 LLM training part1	prompt part3 LLM training part1	第5講：訓練不了人工智慧？你可以訓練你自己 (下) — 讓語言彼此合作，把一個人活成一個團隊第6講：大型語言模型修練史 — 第一階段: 自我學習，累積實力	讓 AI 村民組成虛擬村莊會發生甚麼事？為什麼類神經網路可以正確分辨寶可夢和數碼寶貝呢？
3/29	深度學習 & Transformer	LLM training part2	LLM training part2	第7講：大型語言模型修練史 — 第二階段: 名師指點，發揮潛力 (兼談對 ChatGPT 做逆向工程與 LLaMA 時代的開始)	LLaMA 2
4/12	評估生成式AI & 道德議題	LLM training part3 agent	LLM training part3 agent	第8講：大型語言模型修練史 — 第三階段: 參與實戰，打磨技巧 (Reinforcement Learning from Human Feedback, RLHF) 第9講：以大型語言模型打造的AI Agent	The Rise and Potential of Large Language Model Based Agents: A Survey
5/03	Transformer & 生成式AI的可解釋性	explain transformer	explain transformer	第10講：今日的語言模型是如何做文字接龍的 — 淺談Transformer 第11講：大型語言模型在「想」什麼呢？ — 淺談大型語言模型的可解釋性	Transformer (上) Transformer (下) 用語言模型來解釋語言模型 (上) 用語言模型來解釋語言模型 (下)
5/10	評估生成式AI & 道德議題	evaluation ethical	evaluation ethical	第12講：淺談檢定大型語言模型能力的各種方式第13講：淺談大型語言模型相關的安全性議題 (上)	Can Large Language Models Be an Alternative to Human Evaluations? Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena Bias and Fairness in Large Language Models: A Survey
5/17	生成策略	injection strategy	injection strategy	第14講：淺談大型語言模型相關的安全性議題 (下) — 欺騙大型語言模型第15講：為什麼語言模型用文字接龍，圖片生成不用像素接龍呢？— 淺談生成式人工智慧的生成策略第16講：可以加速所有語言模型生成速度的神奇外掛 — Speculative Decoding	SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification
5/31	影像的生成式AI	vision	vision	第17講：有關影像的生成式AI (上) — AI 如何產生圖片和影片 (Sora 背後可能用的原理) 第18講：有關影像的生成式AI (下) — 快速導讀經典影像生成方法 (VAE, Flow, Diffusion, GAN) 以及與生成的影片互動	An Introduction to Vision-Language Modeling Video Diffusion Models: A Survey Variational Auto-encoder (VAE) (2016 機器學習) Generative Adversarial Network (GAN) (2018 機器學習) Flow-based Method (2019 機器學習) Diffusion Method (2023 機器學習)
Extra lesson	GPT-4o	GPT-4o	GPT-4o	GPT-4o 背後可能的語音技術猜測

Homework

The information here is tentative and subject to change.

Plagiarism in any form is prohibited.
Do NOT share your prompts and evaluation results (JSON files) with others.
Do NOT submit the JSON files that are not obtained using your Davinci account
Do NOT attempt to manually edit your JSON files.
第一次違反以上規定，該作業0分，學期總成績再乘以0.9。第二次違反以上規定，學期成績F
Prof. Lee & the TAs preserve the right to change the rules & grades.

#	HW	Code	Date	TA
HW1	真假難辨的世界	N/A	02/23~03/07	楊智凱白宗民鍾承燁
HW2	都是 AI 的作文比賽	N/A	03/01~03/21	陳瑋智謝承修呂俐君
HW3	以 AI 搭建自己的應用		03/08~03/21	尤展鴻陳守仁呂睿超
HW4	Become an AI Hypnosis Master		03/22~04/04	樊樺呂睿超林堅壬
HW5	LLM Fine-tuning		03/29~04/11	陳光銘林熙哲余奇恩
HW6	Learning from Human Preferences		04/12~05/02	白鈺綺呂瑋杰余奇恩
HW7	Understanding what AI is thinking		05/03~05/16	方泓傑李哲言白宗民
HW8	Safety Issue of Generative AI		05/10~05/26	郭恒成呂瑋杰李哲言
HW9	Quick Summary of Lecture Video		05/17~05/30	關鈞謚林堅壬謝翔
HW10	Stable Diffusion Fine-tuning		05/31~06/13	葉乃瑄林熙哲謝翔

FAQs

Read the FAQs before emailing the TAs. We will not respond to any questions that are already answered in the FAQ. Please be polite in the email. More information can be found in the official NTU course website.

Q1：為何決定開設《生成式人工智慧導論》這門課程？
A1：2023年是人工智慧技術與應用變革的一年，隨著技術的推進，學校應該要有不一樣的課程。過去，我每年都會修改原有的《機器學習》課程，使其可以日新月異，與前瞻的技術接軌，但2023年的變革之大，我想乾脆開一門新的課。最初，我考慮開設一門名為《生成式人工智慧》的四學分課程，但生成式人工智慧的範疇十分廣泛，學生的需求也各不相同，一個四學分的課程可能缺乏彈性，難以滿足多數學生的學習需求。因此，我決定將其分為兩個各兩學分的課程：《生成式人工智慧導論》和《生成式人工智慧技術》(暫定)，希望讓課程安排更加靈活，更好地滿足學生多樣化的需求。《生成式人工智慧導論》將聚焦於基礎原理，適合不同背景的學生，讓大家都能掌握生成式人工智慧的基本概念：而《生成式人工智慧技術》則專注於實際模型訓練，只適合少數學生修習。我原本打算兩門課程同時開設，但後來考慮到這對我個人來說負擔過重，因此決定先開設《生成式人工智慧導論》。至於《生成式人工智慧技術》的開課計劃，目前尚未確定具體時程。
Q2：這門課會學到甚麼? 教我怎麼用 ChatGPT 嗎?
A2：很多同學以為這是一門教大家怎麼用 ChatGPT 的課程，其實 ChatGPT 只是大型語言模型中的一個，而大型語言模型只是生成式人工智慧的一部分。在這門課中，我們不會特別專注於特定軟體或平台的操作，而是要深入探索其背後的魔法——也就是原理。就好像，當你理解了魔術師是如何讓兔子從帽子中跳出來的原理後，你不僅能欣賞魔術的精彩，還能有機會在未來創造出自己的魔術。今天，使用 ChatGPT 等平台已經變得非常簡單，任何人都可以輕鬆上手，網路上也充斥著各式各樣的學習資源，但這門課的目標是帶你更進一步，讓你不僅只是使用工具，而是理解其背後的原理，修完這門課，當你再次使用 ChatGPT 或其他類似工具時，你將能夠更深入地理解它們的運作方式，利用它們的潛力和了解他們可能的極限。
Q3：修這門課程，需要具備哪些先備知識？是否必須先學過機器學習？
A3：這門課程的目標受眾為初學者，不需要任何先備知識，也不要求學生事先修過機器學習或人工智慧的課程。如果你對於人工智慧相關領域有興趣，這是一個絕佳的起點，我們將從基礎開始，逐步深入，讓你在完成這門課程後，可以去探索更進階的機器學習和人工智慧課程。
Q4：如果我之前從未接觸過程式設計，我能修這門課程嗎？會不會非常困難？
A4：這門課程旨在引導初學者進入這個有趣的領域，作業設計的目標是「體驗」，希望學生能夠體會到生程式人工智慧可能帶來的應用以及訓練模型的過程。作業中會包含一些程式編寫的元素，但不必擔心，助教們會提供詳細的指導和範例，即使你以前沒有程式編寫的經驗，也能夠跟上。按照助教的指示操作，至少可以獲得及格以上的成績。
Q5：我已經學過老師開的《機器學習》這門課程，請問這門新課程《生成式人工智慧導論》與之前的課程有何不同？我已經修過機器學習相關課程並了解其基本概念了，對我而言，這門新課程是否會有所幫助？
A5：您可能更應該問的是，這門新課程與我開過的《機器學習》有多少相似之處。實際上，兩者之間幾乎沒有重疊。《生成式人工智慧導論》將重點放在解釋生成式人工智慧的基本原理上，一般的機器學習課程並不會特別花時間針對生成式人工智慧作深入探討，所以就算是修過機器學習相關課程，這門《生成式人工智慧導論》仍將會對你大有裨益。
Q6：還會再開《機器學習》這門課嗎?
A6：因為規劃一門新的課程內容和作業是比較花心力的，所以我就停開了一次《機器學習》。我收到了很多因為我沒有開《機器學習》的抱怨，很抱歉給大家造成困擾，我有可能會在 2025 年的春季班再開機器學習。
Q7：要完成作業會需要準備什麼？學生需要自己有運算資源嗎？
A7：作業有需要寫程式的部分會使用 colab，不用自己準備任何運算資源，我們會確保使用免費版的 colab也可以完成作業，當然如果你願意用付費版的話，訓練模型會更快。總之，作業的設計是讓同學們不用花錢的情況下完成，但是有時候花點小錢可能會有不同的體驗，更了解運算資源的重要性。
Q8：請問要怎麼加簽這門課？
A8：本課程為第二類加選，第一堂課會提供加簽表單供大家填寫。文學院以及電資學院學生全部簽，其他學院學生抽籤。
Q9：為什麼電資學院的學生都可以加簽?
A9：因為授課教師是電資學院的老師，這本來就是電資學院的課程
Q10：為什麼文學院的學生都可以加簽?
A10：文學院院方有跟我聯繫，希望可以讓文學院學生修這門課，我在跟文學院院長長談後，答應讓文學院的學生修課 (文學院會提供部分課程所需花費)。
Q11：電資學院與文學院之外會加簽多少人?
A11：我還在評估中。課程的作業會儘量用ChatGPT批改，減輕助教負擔，以便能服務更多同學。
Q12：電資學院和文學院的學生有辦法一起修課嗎?
A12：這會是一個有趣的挑戰! 我太太大學是文學院畢業的，我會在上課前把課程內容先講給老婆大人聽過，我會努力講一門讓不同背景的學生都可以有收穫的課程!
Q13：上課方式是甚麼? 可以衝堂修課嗎?
A13：老師會實體上課，上課時間為週五下午 2:20 – 4:20，上課會有錄影上傳到Youtube，因為上課都會錄影，所以理論上沒有到課堂上上課是沒有關係的。因為我的課程可以線上學習，所以很多同學會覺得可以衝堂修課，這方面我完全沒意見，但是校方不喜歡學生衝堂修課，通常不會允許衝堂修課，讓大家先知道一下。
Q14：可以旁聽嗎?
A14：需要旁聽請填寫旁聽表單，助教會在每周二中午把你加入NTU COOL的旁聽。助教不會批改旁聽生的作業。

Contact

Email:ntu-gen-ai-2024-spring-ta@googlegroups.com