Machine Learning 2023 Spring


News

29

May

6/2 無實體課程 將以錄影方式公布HW13~15

TA hour 請見 NTU COOL 公告

2

Jun

HW13~15 has been released

HW13~15 已上線,請見網頁 HOMEWORK 處。

Content

Date Topic Class Material Extra Material Optional Material
2/24 正確認識 ChatGPT 機器學習2023規則說明 / slides
ChatGPT 原理剖析 (1/3) — 對 ChatGPT 的常見誤解 / slides
ChatGPT 原理剖析 (2/3) — 預訓練 (Pre-train) / slides
ChatGPT 原理剖析 (3/3) — ChatGPT 所帶來的研究問題 / slides
用 ChatGPT 和 Midjourney 來玩文字冒險遊戲 / slides
ChatGPT (可能)是怎麼煉成的 Predicting Pokémon CP
Pokemon classification
Logistic Regression
3/3 機器學習基本概念介紹 課程直播連結
【生成式AI】快速了解機器學習基本原理 (1/2) / slides
【生成式AI】快速了解機器學習基本原理 (2/2) / slides
【生成式AI】生成式學習的兩種策略:要各個擊破,還是要一次到位 / slides
【生成式AI】能夠使用工具的AI:New Bing, WebGPT, Toolformer / slides
Brief Introduction of Deep Learning
Gradient Descent
Backpropagation
卷積神經網路 (CNN)
自注意力機制 (Self-attention) (下)
3/10 機器如何生成文句 課程直播連結 / slides
【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式 (1/3)
【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式 (2/3)
【生成式AI】Finetuning vs. Prompting:對於大型語言模型的不同期待所衍生的兩類使用方式 (3/3)
自督導式學習(二) - BERT簡介
自督導式學習(四) - GPT的野望
AACL 2022 Tutorial: Recent Advances in Pre-trained Language Models:
Why Do They Work and How to Use Them

3/17 【生成式AI】大模型 + 大資料 = 神奇結果? 課程直播連結 / slides
【生成式AI】大模型 + 大資料 = 神奇結果?(1/3):大模型的頓悟時刻
【生成式AI】大模型 + 大資料 = 神奇結果?(2/3):到底要多少資料才夠
【生成式AI】大模型 + 大資料 = 神奇結果?(3/3):另闢蹊徑 — KNNLM
【生成式AI】GPT-4 來了! GPT-4 這次有什麼神奇的能力呢? / slides
3/24 機器如何生成圖像 課程直播連結
【生成式AI】速覽圖像生成常見模型 / slides
【生成式AI】淺談圖像生成模型 Diffusion Model 原理 / slides
【生成式AI】Stable Diffusion、DALL-E、Imagen 背後共同的套路 / slides
Variational Auto-encoder (VAE)
Flow-based Generative Model
Generative Adversarial Network (GAN)
3/31 量子機器學習 (邀請鄭皓中教授授課) 請見 NTU COOL
4/7 Diffusion Model 原理剖析 (optional) 課程直播連結 / slides
Diffusion Model 原理剖析 (1/4) (optional)
Diffusion Model 原理剖析 (2/4) (optional)
Diffusion Model 原理剖析 (3/4) (optional)
Diffusion Model 原理剖析 (4/4) (optional)
Denoising Diffusion Probabilistic Models
Understanding Diffusion Models: A Unified Perspective
The Curious Case of Neural Text Degeneration
Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions
WaveGrad: Estimating Gradients for Waveform Generation
Diffusion-LM Improves Controllable Text Generation
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
4/14 期中考週不上課
4/21 基石模型的各種變形 課程直播連結
【生成式AI】窮人如何低資源復刻自己的 ChatGPT / slides 1
【生成式AI】ChatGPT 可以自我反省! / slides 2
【生成式AI】讓 AI 村民組成虛擬村莊會發生甚麼事? / slides 3
4/28 大型語言模型的應用 (助教姜成翰講授) 請見NTU COOL
5/5 隱私保護機器學習 (by Prof. Morris Chang) 課程會議連結
5/12 語音基石模型 (助教張凱為講授) 請見 NTU COOL
5/19 大型語言模型 【生成式AI 2023】用語言模型來解釋語言模型 (上) / (下) / slides1
【生成式AI 2023】讓 AI 做計劃然後自己運行自己 / slides2
【生成式AI 2023】FrugalGPT: 來看看窮人怎麼用省錢的方式來使用 ChatGPT (上) / (下) / slides3
5/26 Teach Neural Networks to Learn Rules (由孫紹華老師講授) 請見 NTU COOL
6/2 HW13, HW14, HW15 release (無實體課程)
6/9 期末考週不上課

Homework

The information here is tentative and subject to change. Please read the requirement of each homework before deadline.

# Date Topic Video Slides Code Platform Deadline (UTC+8) Prerequisite
x 2/20 Colab Tutorial N/A N/A N/A
x 2/20 PyTorch Tutorial N/A N/A N/A N/A
HW 1 2/20 Regression Kaggle: 03/01/2023 23:59
COOL : 03/08/2023 23:59
Lecture1: Introduction of Deep Learning
  • video 1 / video 2 / slides
  • HW 2 3/3 Classification Kaggle: 03/24/2023 23:59
    COOL : 03/24/2023 23:59
    Gradescope: 03/24/2023 23:59
    Lecture 2:What to do if my network fails to train
  • video 1 / video 2 video 3 /
  • video 4 / video 5
  • HW 3 3/10 CNN Kaggle, COOL, Gradescope:
    03/31/2023 23:59
  • 卷積神經網路(Convolutional Neural Networks, CNN)
  • t-SNE
  • HW 4 3/17 Self-attention Kaggle, COOL, Gradescope:
    04/07/2023 23:59
    HW 5 3/24 Transformer JudgeBoi, COOL, Gradescope:
    04/14/2023 23:59
    Normalization: Transformer:
    HW 6 3/31 Generative Model JudgeBoi, COOL, Gradescope:
    2023/04/21 23:59
    生成式對抗網路 (GAN) (一)
    生成式對抗網路 (GAN) (二)
    生成式對抗網路 (GAN) (三)
    生成式對抗網路 (GAN) (四)
    slides
    HW 7 4/21 BERT Kaggle, COOL, Gradescope:
    2023/05/12 23:59
    自督導式學習(一)
    自督導式學習(二)
    自督導式學習(三)
    自督導式學習(四)
    slides
    HW 8 4/28 Auto-encoder Kaggle, COOL, Gradescope:
    2023/05/19 23:59
    自編碼器 (Auto-encoder) (上)
    自編碼器 (Auto-encoder) (下)
    slides
    HW 9 5/5 Explainable AI Gradescope:
    2023/05/26 23:59
    Explainable ML(上)
    Explainable ML(下)
    slides
    HW 10 5/12 Attack JudgeBoi, NTU COOL, Gradescope:
    2023/06/02 23:59
    Adversarial Attack(上)
    Adversarial Attack(下)
    slides
    HW 11 5/19 Adaptation Kaggle, COOL, Gradescope:
    2023/06/09 23:59
    Domain Adaptation
    slides
    HW 12 5/26 Reinforcement Learning 2023/06/16 23:59 Reinforcement Learning(一)
    Reinforcement Learning(二)
    Reinforcement Learning(三)
    Reinforcement Learning(四)
    slides
    HW 13 6/2 Network Compression 2023/06/23 23:59 Network Compression(一)
    Network Compression(二)
    slides
    HW 14 6/2 Life-long Learning 2023/06/30 23:59 Life Long Learning(一)
    Life Long Learning(二)
    slides
    HW 15 6/2 Meta Learning 2023/07/07 23:59 Meta Learning (一)
    Meta Learning(二)
    slides

    Contact

    Email: mlta-2023-spring@googlegroups.com

    * 請同學來信務必依照正確寄信格式,並請善用NTU Cool討論區