IT｜軟體｜應用｜語音辨識｜即時說話口譯 DIY-1 基本應用

本翻譯機器人的完整程式碼放置於https://github.com/ch-tseng/Translate-Bot

[材料準備]

1. 樹莓派主板 x 1（Raspberry Pi 3 Model B）
2. 揚聲器0.5w x 1
3. 3.5"音源線  x 1
4. 3.5"麥克風 x 1
6.音效卡

因為樹莓派沒有內建mic輸入，所以要使用 STT 功能，首先要先在樹莓派上裝一支麥克風，有兩種方式可以替樹莓派裝上麥克風，相關麥克風設定，請參考以下記事鏈結。--> IoT｜硬體｜樹莓派｜外接麥克風及喇叭設置

[更新系統]

首先是更新軟體套件的清單：
sudo apt-get update

然後更新軟體套件本身（也可以用dist-upgrade）：
sudo apt-get upgrade

若想更新韌體部分，指令如下（若擔心的話，請事先備份整張記憶卡）：
sudo rpi-update

完成後，重開機：
sudo reboot


[安裝軟體]

SpeechRecognition：它將一些常用的 speech recognition 系統整合在一起，方便我們使用，可省下相當多的開發時間。該模組整合了下列知名的STT API：
1. CMU Sphinx (works offline)
2. Google Speech Recognition
3. Wit.ai
4. Microsoft Bing Voice Recognition
5. api.ai
6. IBM Speech to Text

安裝 Python3 SpeechRecognition 模組
sudo pip3 install SpeechRecognition

TextBlob：這是一套強大的文本分析工具，提供了方便的工具進行詞性分類、名詞短語截取、情感分析、文本分類、拼寫檢查、翻譯和語言檢測…等等，未來我們再針對此模組作深入的使用，在這裏我們將僅使用它的翻譯功能（透過Google API）
安裝 TextBlob

安裝 TextBlob
sudo pip3 install -U textblob

下載必要的語料庫，若自行指定其它的語料庫，可更改NLTK_DATA環境變數
sudo python3 -m textblob.download_corpora

gTTS(Google Text to Speech)：這個模組提供一個方便使用Google's Text to Speech API的介面。在這裏我們並沒有使用工研院而改用Google的TTS原因是，工研院 TTS的處理效率實在太慢且又不穩定了，雖然音質較好也較自然，但是考慮到即時翻譯的流暢性還是優先考慮Google TTS，不過未來我們也可以將工研院TTS功能加到程式中，讓使用者自行切換選擇。

安裝 gTTS
sudo pip3 install gTTS


聲音檔轉成FLAC無損格式，取得並安裝FLAC
sudo apt-get install flac

注意：執行以上指令若遇到錯誤，請再次重新更新系統。

PyAudio：gTTS會將文字轉出的語音存成mp3檔，我們使用pyAudio來播放此mp3檔
sudo apt-get install libasound-dev
sudo apt-get install python-pyaudio python3-pyaudio

注意：執行以上指令若遇到錯誤，請再次重新更新系統。

將中文語音轉為文字內容後進行英文轉譯，並透過喇叭輸出電腦合成音效。
python3 translatedSpeech.py

translatedSpeech.py
#!/usr/bin/env python3
# -*- coding: utf-8 -*-

fromLanguage = "zh-TW"
toLanguage = "en"

import time

import os
from os import path

import speech_recognition as sr
from textblob import TextBlob

from gtts import gTTS

tts = gTTS(text="您好,我是語音辨識助理", lang=fromLanguage)
tts.save("tts.mp3")
os.system('omxplayer -p -o local tts.mp3')
time.sleep(0.5)

while True:

  try:
    r = sr.Recognizer()
    with sr.Microphone() as source:
       print("Say something!")
       audio = r.listen(source)

    # sttTXT_org = r.recognize_google(audio, key="AIzaSyDMjV3fPEyVyQ6CGv6hZ-5Ndn9vCn-2NtI", language$
    sttTXT_org = r.recognize_google(audio, language=fromLanguage)
    print("Google Speech Recognition thinks you said: " + sttTXT_org)

    sttTXT_tblob = TextBlob(sttTXT_org)

    blobTranslated = sttTXT_tblob.translate(to=toLanguage)
    print("Translated --> " + blobTranslated.raw)

    tts = gTTS(text="您剛剛說的語句是." +sttTXT_org+"英文翻譯是.", lang=fromLanguage)
    tts.save("tts.mp3")
    os.system('omxplayer -p -o local tts.mp3')
    time.sleep(0.5)

    tts = gTTS(blobTranslated.raw + ". ", lang=toLanguage)
    tts.save("tts.mp3")
    os.system('omxplayer -p -o local tts.mp3')
    time.sleep(0.5)


  except sr.UnknownValueError:
       print("Google Speech Recognition could not understand audio")
       tts = gTTS(text="您剛剛說的我沒聽懂,麻煩您再說一次", lang=fromLanguage)
       tts.save("tts.mp3")
       os.system('omxplayer -p -o local tts.mp3')
       time.sleep(0.5)

  except sr.RequestError as e:
       print("Could not request results from Google Speech Recognition service; {0}".format(e))
       time.sleep(0.5)

測試範例
你好

將中文語音轉為文字內容，並透過喇叭輸出電腦合成音效。
python3 textSpeech.py

textSpeech.py
#!/usr/bin/env python3
# -*- coding: utf-8 -*-

fromLanguage = "zh-TW"
toLanguage = "en"

import time

import os
from os import path

import speech_recognition as sr
from textblob import TextBlob

from gtts import gTTS

tts = gTTS(text="您好,我是語音辨識助理", lang=fromLanguage)
tts.save("tts.mp3")
os.system('omxplayer -p -o local tts.mp3')
time.sleep(0.5)

while True:

  try:
    r = sr.Recognizer()
    with sr.Microphone() as source:
       print("Say something!")
       audio = r.listen(source)

    # sttTXT_org = r.recognize_google(audio, key="AIzaSyDMjV3fPEyVyQ6CGv6hZ-5Ndn9vCn-2NtI", language$
    sttTXT_org = r.recognize_google(audio, language=fromLanguage)
    print("Google Speech Recognition thinks you said --> " + sttTXT_org)

    tts = gTTS(text="您剛剛說的語句是." +sttTXT_org, lang=fromLanguage)
    tts.save("tts.mp3")
    os.system('omxplayer -p -o local tts.mp3')
    time.sleep(0.5)

  except sr.UnknownValueError:
       print("Google Speech Recognition could not understand audio")
       tts = gTTS(text="您剛剛說的我沒聽懂,麻煩您再說一次", lang=fromLanguage)
       tts.save("tts.mp3")
       os.system('omxplayer -p -o local tts.mp3')
       time.sleep(0.5)

  except sr.RequestError as e:
       print("Could not request results from Google Speech Recognition service; {0}".format(e))
       time.sleep(0.5)

測試範例
數數 1 2 3 4

播放設備
os.system('omxplayer -p -o local tts.mp3')
—>-o  --adev  device          Audio out device      : e.g. hdmi/local/both/alsa[:device


[參考]

留言

張貼留言

這個網誌中的熱門文章

IoT｜硬體｜樹莓派｜外接麥克風及喇叭設置

圖片
輸出喇叭與麥克風設定 [軟體安裝] 安裝  ALSA (Advanced Linux Sound Architecture)  的音效驅動程式 sudo apt-get install alsa-base alsa-utils [接線] 喇叭接樹莓派自身3.5mm音源孔 音效卡接 USB，外接麥克風的3.5mm接頭插到音效卡上  以樹莓派內建3.5mm音源孔作為聲音輸出 sudo raspi-config → Advanced options → Audio → 選擇Force 3.5mm ('headphone') jack 檢查是否有抓到音效卡 lsusb 樹莓派桌面進行如下設定，並分別將 BCM2835_ALSA 及 USB PnP Sounde device 分別設為 default PCM 及default Microphone。 上述設定完成後請將樹莓派重新開機 測試喇叭是否正確播放聲音測試喇吧是否有聲音,測試指令，它會依左聲道、右聲道的順序反覆播放，可以按「Ctrl+C」來停止 speaker-test -c 2 -t wav -D hw:0,0 [細部設定] 若沒有聲音，確認喇叭是否接在內建音效卡為0的位置上，必且將聲音調整到最大 alsamixer #card 0 是內建的 BCM2835 晶片 #card 1 就是外接的 USB 音效卡 調整麥克風，Speaker 表示喇叭音量、Mic 表示麥克風直接輸出到喇叭的音量、Auto Gain Control 表示自動調整麥克風增益 F6->選則 sound card 按 esc 離開 將剛剛編號0號及1號音效卡設定儲存下來 sudo alsactl store 0 sudo alsactl store 1 列出樹莓派內建預設的音效卡（編號0）內容 amixer --card 0 contents 列出樹莓派內建預設的音效卡（編號1）內容 amixer -
閱讀完整內容

成長｜語文｜學習-英文 持續更新！

圖片
主格/受格/所有格    2018-01-18 週四 八大詞性   2018-03-04 v. →動詞  n. →名詞  adj. →形容詞  adv. →副詞  con. →連接詞  prep. →介系詞  pron. →代名詞  aux. →助詞  英文縮寫    2017-10-17 週二     臺南市立大灣高中影音教學頻道    2018-03-23 週五  [八大詞類] 動詞 使役動詞 Part 1 使役動詞 Part 2 使役動詞 Part 3 使役動詞 Part 4 使役動詞 Part 5 關係詞 高中英文文法-關係詞01 - 概論 代名詞： 含有 it 的句型 1 含有 it 的句型 2 含有 it 的句型 3 含有 it 的句型 4 含有 it 的句型 5 不定詞： 高中英文文法 - 不定詞 01 分詞： 英文文法-分詞-01 簡介 英文文法-分詞-02 分詞的位置      英文文法-分詞-03分詞的主動與被動      主詞與動詞一致 主詞語動詞的一致 Part I 主詞語動詞的一致 Part II 主詞與動詞的一致 Part III 主詞與動詞的一致 Part IV 主詞與動詞的一致 Part V [五大基本句型] 英文文法 - 五大基本句型 英文文法 - 五大基本句型 - Exercise 01 五大基本句型 - exercise 02 [子句] 形容詞子句 Part 1 六個符號多益函授    2017-08-23週三 快速準備：/Users/Kevin/iBook/英語學習/六個符號/六個符號-多益函授/影片/快速準備 文法     https://youtu.be/SDkqRF1AAm8 片語（介詞＋名詞） 子句 [ ] S+V of/at/in/due to/because of/as a result of 形容詞子句：which（物）/who（人）= that although（雖然）/when（當）/if（是否）/why（
閱讀完整內容

IoT｜硬體｜通訊｜Arduino 使用 SoftwareSerial Library 與電腦通訊

圖片
介紹 UART Arduino  硬件在 0 pin  和 1 pin  口支持串行通信（ 電腦通過  USB  連接） ，其實是使用了一個 ( 內置芯片 ) 稱為  UART  的芯片。這種硬件允許  ATmega  即使正在進行其他任務時也能通信，只要 serial 的 64 byte 緩存有其他的空間。 SoftwareSerial 使用  SoftwareSerial Library  可以在  Arduino  的任何數字引腳上進行通信，因此軟件端口數可以擴展，並且波特率可達 115200bps 。 有個叫 Mikal Hart 的傢伙編寫了 NewSoftSerial library ，這個庫改進了 SoftwareSerial Library ，優點更多，因此之後的版本都是基於這個庫的。這種其實是軟件模擬通信的，具有很多局限性。 範例程式：選擇不同 baud rate 與設備通訊 #include <SoftwareSerial.h> SoftwareSerial DLSerial(10, 11); // RX,TX int cammand; int baudChoose; void setup() {   Serial.begin(9600);   DLSerial.begin(9600);    } void loop() {   String s = "";   while (Serial.available()) {     char c = Serial.read();     if (c != '\n') {       s += c;     }     delay(5);    // 沒有延遲的話 UART 串口速度會跟不上Arduino的速度，會導致資料不完整   }   String value;   if (s != "") {     cammand = (s.substring(0, 2)).toInt();     value  = (s.substring(3, 22));     switch (c
閱讀完整內容