技術の巨人は最近、Alexaの現在のスキルを追加するアップデートをリリースしました：AmazonAlexaの新しいライブ翻訳。
Alexaは、ブラジルポルトガル語、イタリア語、ヒンディー語、フランス語、ドイツ語、スペイン語、英語の間でリアルタイムに翻訳できるようになりました。 なんて素晴らしいイノベーションでしょう。
翻訳アップデートは、ユーザーがAlexaに言語の翻訳を依頼するのに役立ち、トランスクリプトの表示はEchoデバイスにも表示されます。
さらに、Alexaは会話の自然な一時停止と文の切れ目をより正確に識別できるようになりました。
翻訳がこれまでになく簡単になりました。 この音声テクノロジーは、今後数年間、中小企業にとって完全なゲームチェンジャーになるでしょう。
さまざまな市場へのリーチの拡大を検討できます。
顧客は、言語の干渉を心配することなく、簡単に情報を要求できるようになりました。
AmazonAlexaのライブ翻訳がどのように機能するかを見てみましょう。
AmazonAlexaのライブ翻訳
このライブ翻訳により、XNUMXつの異なる言語で話す個人が互いに話すことができます。
Alexaは通訳として機能します 会話の両側を翻訳します。
まず、この機能は、ロケールが英語USに設定されているEchoデバイスで、英語とスペイン語、フランス語、ドイツ語、イタリア語、ブラジルポルトガル語、またはヒンディー語のXNUMX組の言語で機能します。
お客様は、AlexaにXNUMXつの言語の翻訳セッションを開始するように依頼できます。
セッションが開始されると、顧客はどちらの言語でもフレーズや文章を話すことができます。 Alexaは自動的に言語を識別し、会話の両側を翻訳します。
ライブ翻訳機能は、Alexaの自動音声認識（（ASR）システム、Amazon Translate、Alexa's テキストを音声に変換します システム。
言語ID
AlexaはXNUMXつ実行します ASR 並行するモデルと、翻訳セッション中の言語識別用の個別のモデル。 話す言語が何であれ、両方のASRモデルを同時に通過します。
ただし、XNUMXつのASRモデルの出力のみが変換エンジンに送信されます。
翻訳リクエストの待ち時間を許容範囲内に保つには、言語IDモデルが結果を返すまで音声認識の開始を待機すると、翻訳されたオーディオの再生が遅れるため、この並列実装が必要です。
言語IDシステムが言語を選択すると、関連するASR出力が後処理され、AmazonTranslateに送信されます。
翻訳は、再生のためにAlexaのテキスト読み上げシステムに渡されます。
さらに、Amazonはそれを発見しました 言語IDモデル 音声信号に関する音響情報と両方のASRモデルの出力の両方に基づいて決定を下す場合に最適に機能します。
言語の非ネイティブスピーカーの場合、そのスピーチは話されている言語に関係なく一貫した音響特性を持っていることが多く、ASRデータは非常に役立ちます。
音声認識
音響モデルは、音声を音素と呼ばれる最小の音声単位に変換します。
言語モデルは、特定の単語の文字列の確率をエンコードします。これは、ASRシステムが同じ音素シーケンスの代替翻訳または解釈を決定するのに役立ちます。
ほとんどの既存のASRシステムと同様に、Alexaライブ翻訳に使用されるシステムには、音響モデルと言語モデルも含まれます。
Alexaの既存のASRモデルと同様に、ライブ翻訳に使用されるASRシステムには、従来の言語モデルとニューラル言語モデルのXNUMX種類の言語モデルがあります。
従来の言語モデルは、比較的短い単語の文字列（通常は約XNUMXつ）の確率をエンコードし、 ニューラル言語モデル、これはより長い範囲の依存関係を説明できます。
ライブ翻訳言語モデルは、Alexaの既存のASRモデルよりも幅広いトピックをカバーする会話型のスピーチを処理するようにトレーニングされました。
Amazonは、接続主義の時間分類（CTC）を使用して音響モデルをトレーニングしました。
音響モデルをより強力にするために、同社はトレーニングセットにノイズを混合し、さまざまな音響条件下で変化が少ない入力信号の特性にモデルが焦点を合わせることができるようにしました。
詳細作業
Alexaの変更があります エンドポインタ.
これは、お客様が話すのをやめ、Alexaがフォローアップする必要があることを示しています。 これは、会話のスピーチに適応する際にも必要です。
エンドポインタは、文の終わりでの一時停止と文の途中での一時停止を区別できます。これは、話者がもう少し長く進む可能性があることを意味します。
ライブ翻訳の場合、長い会話をしている話者は文の合間に考えをまとめるのに時間がかかることが多いため、エンドポインタは各文の終わりでの長い休止を許容するように変更されます。
最後に、ライブ翻訳システムは一般的な流暢さを調整します。 また、ASR出力のフォーマットにも役立ちます。
Amazon Translateのニューラル機械翻訳システムは、テキスト入力で機能するように設計されています。
現在、Amazonは、ライブ翻訳機能をさらに改善するためのいくつかのアプローチを模索しています。
これらのXNUMXつは半教師あり学習であり、Alexaの既存のモデルがラベルのないデータに注釈を付けます。
Amazonは、Amazonの翻訳固有のASRおよび言語IDモデルの追加のトレーニング例として、最も信頼性の高い出力を使用します。
アマゾンはまた、ニューラル機械翻訳エンジンを会話音声データに適応させるために取り組んでいます。
声のトーンや正式な翻訳と非公式な翻訳など、関連するコンテキストを組み込んだ翻訳を生成します。
これは、翻訳の流暢さと口頭言語入力に対する堅牢性を向上させるために行われます。
アマゾンは方法を模索し、翻訳全体の品質、特に口語的および慣用的な表現の品質の向上に継続的に取り組んでいます。
ライブ翻訳の使用
Live Translateの背後にある技術は印象的で、次のことができます。 詳細については、Amazonの発表記事をご覧ください。.
ライブ翻訳はAIを利用した機能で、話されている複数の言語を認識し、両方の話者に翻訳できます。
それはまたに似ています 他のデジタルアシスタントから利用できる翻訳機能
ライブ翻訳は使いやすいですが、覚えておくべきいくつかの制限があります。
この機能は米国のEchoデバイスでのみ利用可能であることに注意してください。LiveTranslateを使用するには、Echoデバイスの場所とシステム言語を「EnglishUS」に設定するだけです。
ユーザーことができます 両方を簡単に変更 Alexaモバイルアプリで 必要に応じて、これはすべての国にあるわけではありません。そうすることで、Alexaの話し方のアクセントが、時間、天気、ローカルアラートとともに変更されます。
Live Translateは、すべてのEchoデバイスでも機能します。
EchoShowユーザーが追加機能を利用できるのはEchoShowの画面表示だけです。
これは、各言語の両方の話者のためのライブ翻訳であるため、最近話された文章を読み返すことができます。
エコースピーカーは現在、ライブ翻訳をサポートする唯一のAlexaデバイスです。
EchoデバイスでAmazonAlexaのライブ翻訳を使用する手順
これらの手順は非常に迅速で、翻訳を簡単に行うことができます。 あなたがする必要があるのは次のとおりです：
1.ライブ翻訳を使用する準備ができたら、「アレクサ、英語を[第二言語]に翻訳してください」と言います。 フレーズの他のバリエーションが機能するはずです。 どの言語を翻訳するかをAlexaに伝えてください。
2.通常どおり会話を続けます。Alexaは必要に応じて聞き取り、翻訳します。 Echoスピーカーが両方のスピーカーをはっきりと聞き取り、解釈するには、近くにいる必要があります。
3.会話が終わったら、「アレクサ、停止」と言ってライブ翻訳をオフにします。
最終的な考え
ライブ翻訳 for Amazon Alexaは、ユーザーが他の言語を簡単に理解できるようにする新機能です。
遠く離れた国に旅行している場合でも、ある言語を別の言語に翻訳している外国人の親戚に追いつく場合でも、これほど簡単なことはありません。
AlexaにXNUMXつの言語（たとえば、英語とスペイン語）の翻訳セッションを開始するように依頼するだけで、準備は完了です。
どちらかの方言でフレーズを言ってチャットを開始すると、Alexaが自動的に言語を識別して単語を翻訳します。
このプログラムは現在、英語とスペイン語、フランス語、ドイツ語、イタリア語、ブラジルポルトガル語、またはヒンディー語のXNUMXつの言語ペアで動作します。 エコーデバイス ロケールを英語USに設定します。
うまくいけば、Live Translateは、他のAlexa搭載デバイスや他の国でも将来的に明らかになるでしょうが、今のところ、海外からのゲストとの訪問が容易になる可能性があります。
