Fundamentals of Speech Signal Processing Homework 1

FAQ

  • Q1: 如 2.0 投影片第二頁上方的圖, 第一個 state 對應了3個 o ( o1 o2 o3 ), 第二個 state 對應了4個 o ( o4 o5 o6 o7 ), 第三個... 。 這些 state 每個分別對應到多少個 o,是不是必須先把 o1 ~ oT 都有了之後,再根據演算法得到最佳的一條路徑,才能推出每個 state 對應多少個 o (停留次數) ?
  • 在 2.0 投影片第二頁的圖中,state 1 會有3個 observation,是因為頭兩次的 transition 都是 state 1 → state 1,這在 training 和 testing 的時候會因為 a11 比 a12 , a13 ... 都大而顯現出來。換個角度說,在 2.0 投影片第二頁的圖中,state sequence 應該是 q1q1q1q2q2q2q2q3... 。這樣看的話就很清楚每個 state 是對應到一個 observation。因此演算法中 q 和 o 的下標都是從 1 到 T 。
  • Q2: train 出來的 model_01.txt~model_05.txt 該是什麼樣子?
  • 就長得像 model_init.txt 一樣,其中 π 向量的總和需為 1, A 矩陣的每個 row sum 和 B 矩陣的每個 column sum 也都需是 1 。
  • Q3: 投影片裡第五張的 seq_model_01~05 都各自代表ㄅ的 HMM 嗎? 就是說 seq_model_01 是ㄅ的 HMM,seq_model_02也是,這樣想對嗎?
  • seq_model_01~05 可以想成是五個 phoneme 的 model,比方說知道以下的話只會出現ㄚ、ㄛ、ㄞ、ㄟ、ㄢ 五個音,於是就把ㄚ的 training data 合在一起 train 一個ㄚ的 model,ㄛ的 training data 合在一起 train 一個ㄛ的 model,...等等。於是有了五個 model 對應到五個 phoneme,在 testing 的時候就把 data 拿去在這五個 model 裡各求一個機率,如果是ㄟ的 model 機率最大就說答案是ㄟ。雖然現在我們沒有說 seq_model_01~05 是什麼東西,不過你可以想成 seq_model_01 是ㄚ的 training data,seq_model_02 是ㄛ的 training data 等等。
  • Q4: 如果我們有一筆 training data, state 數目是變動的,可能是4個 state 也可能是5個 state, 那對於4個 state 來說,我如何用 trainging data 來算出這4個 state 上的 Observation 機率呢? 改成定義5個 state 的話, Observation 的機率又該如何呢? 而定義每個 state 的初始機率 Aij 又是怎麼定義呢?
  • 語音辨識中的 state 數目是使用者自己決定的,畢竟一個 phoneme 裡有很多 state 可說是我們因為語音連續性所做的假設。因此究竟要訂定4個還是5個 state 並不是 data dependent,而是 user dependent。使用 3~6 個 state 都是有看過的,甚至每個 model 都用不同數目的 state 理論上也是有可能的 (雖然實際上很少人這樣做) 。不過一但決定好,在 training/testing 流程中就不會再改變,因為演算法都是在假設 state 數目已知的情況下運作的。在這個作業中只需要像 model_init.txt 裡一樣假設有 6 個 state 就好 (因此 A 是 6*6 矩陣,π是 1*6 向量)。至於初始機率,只要滿足適當的限制 (如 A 矩陣的每個 row sum 是 1 ) 即可,在 training 的 iteration 次數夠多的情況下應不至於對結果有太大的影響。
  • Q5: model_init.txt 的 observation 機率是否有問題呢? (為何不是根據 seq_model 去統計出 A 之機率多大... B 之機率多大去寫初始值...)
  • 用 seq_model 去統計當做初始值當然也是可以的,其實在語音辨識中,因為 B 的參數變成 Gaussian 的 mean 和 variance,它們的值無範圍限制難以隨便假設,此時有一種設定初始值的方法就是去算所有 observation 的 global 平均。然而即使如此也無法分開 state 估計,每個 state 的初始值只能都設一樣, Aij 的初始值也無法估計只能任意假設。所以終究還是要跑 training algorithm。而在跑過之後收斂到的結果雖然會跟初始值有關,但是我們無法知道哪個初始值會產生較好的結果。在作業中也可以嘗試不同的初始值,看看結果的差異。
  • Q6: 對 testing_data 和 testing_data2 的資料要把每列的資料分別餵給5個 model 得到最大機率的就是答案,觀測值都固定是要50個嗎?要算這筆是某個 model 多大的機率,也是把這50個丟演算法得到?
  • 在每一行有幾個字母就是幾個觀測值,建議不要寫死,寫成讓程式讀出觀測值的個數比較好。觀測值的個數並不用固定,training 和 testing 可以用不同的個數,甚至 training 裡頭或 testing 裡頭也可以每筆資料有不同的個數。以語音辨識為例,觀測值的個數相當於錄音的長度。雖然也許可以硬性規定每筆聲音資料都錄一樣長,但是這相當麻煩,實際上不需要假設每筆資料都一樣。在作業裡為了方便所以才會都是50個。
  • Q7: 關於 observation 機率的 adjust ,以 Σ (γ )分子的部份除以分母的部份如何區分?上面是寫 ot = vk,但是還是不太清楚?
  • 對每個 state i 和 時間 t ,你的程式都會算出 γt(i),而 update B 矩陣的分子部分,是要把不同 observation 的 t 的 γt(i)累積起來。舉例來說如果 observation 是 AABCCBFFAEDD...,那麼 update bi(A) 的分子部分就是 γ1(i) + γ2(i) + γ9(i) + ...,update bi(B) 的分子部分就是 γ3(i) + γ6(i) + ... 等等。
  • Q8: 我想用 C 寫,但是不太懂 makefile,如果要編譯成 .exe 檔要怎麼做?
  • 寫 makefile 的用意代表要在 Linux command line 下執行,不過這不代表一定要在自己的電腦灌 Linux,可以登入工作站執行。電機系大學部的同學可以登入 ccws2.ee.ntu.edu.tw 然後用系計中的帳號密碼登入,即使是已經畢業就讀研究所的同學帳號仍然可以使用;資訊系的人可登入 linux4.csie.ntu.edu.tw ;若都沒有工作站帳號的同學可至資訊系館 217 申請帳號。登入的介面可以使用 piettyputty 或其他 ssh 連線軟體。從 Windows 上傳檔案到工作站上可使用 CuteFTP, FileZilla, gFTP, WinSCP 或其他支援 ssh 的 FTP 軟體。 Linux 下的基本指令操作可參考鳥哥,應該只需學會簡單的複製移動檔案指令就夠用了。在 Linux 下並非以副檔名而是以權限作為能否當作執行檔的依據。 Makefile 的作用就是從 C 的 source code 製造出執行檔。作業壓縮檔裡的 Makefile 不用看懂,只需要執行 make 指令就會自動把 test_hmm.c 這個程式 compile,產生 test_hmm 這個執行檔。要執行時就用 ./test_hmm 指令。可以參考投影片第 19 頁。如果不想用 test_hmm 作為檔名,只要把 Makefile 裡的 TARGET=test_hmm 那行改成 TARGET=你想要的檔名。
    如果不想在工作站上做,也可以使用一種在 Windows 下模擬 Linux 環境的程式,叫做 Cygwin
  • Q9: test_hmm.c 裡最前面那段load_models 為甚麼要註解掉?
  • 那段是介紹如何用 load_models 和 dump_models 這兩個函數,它們能一次讀取和印出 5 個名稱列在 modellist.txt 的 model,當然這 5 個 model 要都已經存在於資料夾中。你可以複製幾個 model 檔然後觀察他的效果。
  • Q10: seq_model_01~05.txt 裡面的資料有10000筆,是否每一行代表一次iteration?
  • 每一行代表一筆 sample,但是 training 時每次 update 都是把每一筆 training data 的 γ 和 ε 累加起來,相當於 4.0 投影片 update A, B 的公式,分子分母外面都多一層Σ,因此在投影片 16 頁的Σ不只是對每個 t ,也是對每筆 sample 的 γ, ε 做加總,所以公式應修正如下 :

    4.0 p16

    上式中的 N 是 sample 的個數。
  • Q11: 投影片30頁說的 Testing result and accuracy 是指什麼呢?
  • testing_data.txt 有一個對應的 testing_answer.txt,要計算出你 Viterbi 得到的答案跟 testing_answer.txt 有百分之多少一樣,那就是正確率 (accuracy),要寫在報告裡 (或是計算有百分之多少不一樣,即錯誤率)。而 testing_data2.txt 沒有給正確答案,所以只要附上你得的答案就好。
  • Q12: iteration 次數增加,accuracy 卻變低,是正常的嗎?
  • 這是助教跑的 accuracy 結果,橫軸是 iteration 次數。

    accuracy

  • Q13: Makefile 好像只能 make 一個檔案?
  • 其實要 make 兩個檔案很簡單,改成:
    	 .PHONY: all clean
    
    	 CFLAGS+=
    	 LDFLAGS+=-lm     # link to math library
    
    	 TARGET=test_hmm train test
    
    	 all: $(TARGET)
    	 # type make/make all to compile test_hmm
    	 clean:
    	 $(RM) $(TARGET)   # type make clean to remove the compiled file