Assignment 3 FAQ

• Q1: SRILM 1.5.10 i686安裝說明
  
  

  • 解壓縮 srilm-1.5.10.tar.gz
  
  
  • 修改 Makefile, 在檔案上端加入SRILM變數到你的srilm目錄(絕對路徑)
  • ex: # SRILM = /home/speech/stolcke/project/srilm/devel
    => SRILM = /home/master/98/r98922053/srilm-1.5.10
    
    更多請詳見Q9
  
  
  • 修改檔案 common/Makefile.machine.i686
  • 17行的CC改成CC = /usr/bin/gcc $(GCC_FLAGS)
  • 18行的CXX改成 CXX = /usr/bin/g++ $(GCC_FLAGS) -DINSTANTIATE_TEMPLATES
  • 52,53行的tcl設定改成下面三行
    NO_TCL=X
    TCL_INCLUDE =
    TCL_LIBRARY =
    
  
  
  • 請確定sbin/資料夾底下的程式為可執行檔。若不是或不確定，移至sbin/底下，在命令列輸入 chmod 755 *
  
  
  • 完成以上步驟後, 在命令列輸入 make MACHINE_TYPE=i686 World
  
  
  • 清除編譯過程中的暫存檔：make cleanest
  
  
  • 安裝好後, 可在 bin/i686中找到SRILM的執行檔
  
  
  
  • PS: 64 bit machine(Ex: 資工系工作站)，請修改 common/Makefile.machine.i686-m64
    修改後執行 make MACHINE_TYPE=i686-m64 World
    安裝好後, 可在 bin/i686-m64 中找到SRILM的執行檔
  
  
  • 如果系統是Mac OS X，一開始的編譯方式會和上面不太一樣。
  • 1. 解壓縮 srilm-1.5.10.tar.gz
  • 2. 修改Makefile，改SRILM路徑成你要的路徑
  • 3. 修改 common/Makefile.machine.macosx
    line 13: 改為 CC = /usr/bin/gcc $(GCC_FLAGS) -Wimplicit-int
    line 14: 改為 CXX = /usr/bin/g++ $(GCC_FLAGS) -DINSTANTIATE_TEMPLATES
    line 49, 50: 註解掉
  • 4. 確定srilm安裝資料夾下的sbin為可執行檔
  • 5. 在srilm安裝資料夾下輸入 make MACHINE_TYPE=macosx World
  • 6. 清除暫存檔： make cleanest
  • 7. 之後會在srilm安裝資料夾/bin/macosx 裡看到執行檔
  • 要撰寫你自己ngram_test的Makefile時：
    MACHINE_TYPE = macosx
    CXX = /usr/bin/g++
    


• Q2: How to include class Ngram and Vocab
  如果同學要讀SRILM所訓練出來的model，最簡單的方法就是link SRILM的library。
  compile完之後，lib的位置在$(SRIPATH)/lib/$(MACHINE_TYPE)/之下，
  e.g. /home/master/98/r98922053/srilm-1.5.10/bin/i686-m64。
  
  如source code為ngram_test.cpp，可撰寫Makefile:
  

  SRIPATH ?= /home/master/98/r98922053/srilm-1.5.10
  MACHINE_TYPE ?= i686-m64
  
  CXX = g++
  CXXFLAGS = -O3 -I$(SRIPATH)/include -w --std=c++11
  vpath lib%.a $(SRIPATH)/lib/$(MACHINE_TYPE)
  
  TARGET = ngram_test
  SRC = ngram_test.cpp
  OBJ = $(SRC:.cpp=.o)
  
  .PHONY: all clean
  
  all: $(TARGET)
  
  $(TARGET): $(OBJ) -loolm -ldstruct -lmisc
  	$(CXX) $(LDFLAGS) -o $@ $^
  
  %.o: %.cpp
  	$(CXX) $(CXXFLAGS) -c $<
  
  clean:
  	$(RM) $(OBJ) $(TARGET)
  

  source code ngram_test.cpp為:

  #include <stdio.h>
  #include "Ngram.h"
  
  int main(int argc, char *argv[])
  {
  
      int ngram_order = 3;
      Vocab voc;
      Ngram lm( voc, ngram_order );
  
      {
          const char lm_filename[] = "./corpus.lm";
          File lmFile( lm_filename, "r" );
          lm.read(lmFile);
          lmFile.close();
      }
  
      VocabIndex wid = voc.getIndex("囧");
      if(wid == Vocab_None) {
          printf("No word with wid = %d\n", wid);
          printf("where Vocab_None is %d\n", Vocab_None);
      }
  
      wid = voc.getIndex("患者");
      VocabIndex context[] = {voc.getIndex("癮") , voc.getIndex("毒"), Vocab_None};
      printf("log Prob(患者|毒-癮) = %f\n", lm.wordProb(wid, context));
  }
  
  

  如此就可以利用lm.wordProb來得到language model的機率。示範檔下載: ngram_test.tar.gz (corpus.lm非char-based LM!!)
  使用前請先修改Makefile中的SRIPATH以及MACHINE_TYPE!!



• Q3: 什麼function可以測試字有沒有在字典裡面?
  可以寫成下面這個樣子來測試
  

  VocabIndex wid = voc.getIndex("囧");
  if(wid != Vocab_None) {
      ...
  }
  



• Q4: mapping table 格式說明
  character based 注音對應中文的mapping大概是長這樣:
  

  ㄅ	八 匕 卜 不 卞 巴 比 丙 包 ...
  八	八
  匕	匕
  不	不
  ...
  ...
  ㄆ	仆 匹 片 丕 叵 平 扒 扑 疋 ...
  仆	仆
  匹	匹
  片	片
  ...
  ...
  ㄦ	二 而 耳 兒 洱 貳 爾 餌 邇 ...
  二	二
  而	而
  兒	兒
  ...
  ...
  

  注意後面每一個字之間都有空格。
  實作上，列的順序不一定要按照字典排序。 字對字的對應，也可以不要加入mapping之中，只要在執行disambig程式多加上 "-keep-unk" 這個參數(可觀察其對辨識率的影響)
  但是在繳交作業時請上傳完整的mapping，以利批改作業之方便。


• Q5: disambig 使用說明
  

  disambig -text $file -map $map -lm $language_model -order $order

  $file: input file (記得轉換成 character-based 分隔)
  $map: 就是 mapping table (同學請利用Big5-ZhuYin.map自行轉換)
  
  disambig 預設輸出到螢幕，同學可以利用 > 來將結果放到一個檔案裡，例如
  disambig your_parameters > result.txt
  


• Q6: 在 Cygwin 上安裝 SRILM
  

  • 安裝Cygwin請見How To Install HTK on Cygwin.pdf
  • 在Cygwin安裝SRILM方法和Q1完全相同，其MACHINE_TYPE為i686，若電腦是64bit 則其MACHINE_TYPE為i686-m64
  
  


• Q7: SRILM compile error!!
  

  • make[1]: /home/hamigwa/usr/src/srilm-1.5.10/sbin/machine-type: Command not found

    如果編譯錯誤的訊息中有出現上述語句，那很有可能是因為你的系統中沒有安裝csh
    
  
  
  • 一般工作站應該都有安裝，若同學是使用自己的linux系統，可到套件管理程式那邊搜尋csh並安裝，
    或是在終端機輸入 sudo apt-get install csh
    Cygwin則是在執行Setup.exe後在套件選取時搜尋csh並安裝即可。(See Q6)
  
  
• Q8: Makefile前面的#是什麼?
  

  • 代表註解掉#之後一行的意思，跟C++中的//相同
  • 因此在srilm-1.5.10/Makefile中應該要去掉#並設定path：
  • 把 # SRILM = /home/speech/stolcke/project/srilm/devel
    改成 SRILM = 你的srilm資料夾 即可，例如 SRILM = /home/hamigwa/usr/src/srilm-1.5.10
  
  
  • PS: 若想查詢完整路徑可在srilm的資料夾底下輸入pwd即可
  
  
  • PS2: 因為檔案預設都是唯讀檔，你可以chmod 644 Makefile改變權限，
    或是在存檔時輸入 wq! 即可
  
  
• Q9: 我使用ubuntu編譯srilm，結果他回報__off64_t和long int的錯誤
  

  
  
  • 這是Ubuntu gcc library自己的問題......
  
  
  • 可以修改/usr/include/stdio.h
    把所有__off64_t取代成long int後儲存離開即可


• Q10: 讀取OOV的Bigram時出現錯誤
  

  
  
  • 因為OOV的getIndex得到的wid是-1，無法直接套用在算機率上，
    故必須先判斷他是否為OOV後再套入lm.wordProb求機率
  
  
  • 附上兩個簡單的Method讓同學方便讀取ngram Prob: GetProb.txt
  
  
• Q11: Mac執行make MACHINE_TYPE=macosx World後會出現以下 error message:
  

  11 warnings and 1 error genertated.

  make[2]: *** [../obj/macosx/LatticeIndex.o] Error 1
  make[1]: *** [release-libraries] Error 1
  make: *** [World] Error 2
  請參考網頁 https://apurvtwr.wordpress.com/2012/11/08/installing-srilm-on-mac-10-8-2/
  感謝2014Autumn修課的熊育萱同學