Fugu-MT 論文翻訳(概要): Conditioning LLMs with Emotion in Neural Machine Translation

論文の概要: Conditioning LLMs with Emotion in Neural Machine Translation

arxiv url: http://arxiv.org/abs/2408.03150v1
Date: Tue, 6 Aug 2024 12:49:33 GMT
ステータス: 処理完了
システム内更新日: 2024-08-07 14:07:58.205015
Title: Conditioning LLMs with Emotion in Neural Machine Translation
Title（参考訳）: ニューラルマシン翻訳における感情を考慮した条件付きLCM
Authors: Charles Brazier, Jean-Luc Rouas,
Abstract要約: 本稿では,音声感情認識(SER)モデルから抽出した感情情報をLarge Language Models(LLM)に統合するパイプラインを提案する。実験の結果,情動情報,特に覚醒情報の統合は,翻訳品質の顕著な改善につながることが明らかとなった。
参考スコア（独自算出の注目度）: 1.0205541448656992
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have shown remarkable performance in Natural Language Processing tasks, including Machine Translation (MT). In this work, we propose a novel MT pipeline that integrates emotion information extracted from a Speech Emotion Recognition (SER) model into LLMs to enhance translation quality. We first fine-tune five existing LLMs on the Libri-trans dataset and select the most performant model. Subsequently, we augment LLM prompts with different dimensional emotions and train the selected LLM under these different configurations. Our experiments reveal that integrating emotion information, especially arousal, into LLM prompts leads to notable improvements in translation quality.
Abstract（参考訳）: 大規模言語モデル(LLM)は、機械翻訳(MT)を含む自然言語処理タスクにおいて顕著なパフォーマンスを示している。本研究では,音声感情認識(SER)モデルから抽出した感情情報をLLMに統合し,翻訳品質を向上させる新しいMTパイプラインを提案する。最初に、Libri-transデータセット上に5つの既存のLCMを微調整し、最も高性能なモデルを選択する。次に,LLMプロンプトを異なる次元の感情で拡張し,選択したLLMをこれらの異なる構成で訓練する。実験の結果,情動情報,特に覚醒情報の統合は,翻訳品質の顕著な改善につながることが明らかとなった。

関連論文リスト

Beyond Silent Letters: Amplifying LLMs in Emotion Recognition with Vocal Nuances [3.396456345114466]
本稿では,音声特徴を自然言語記述に変換するSpeechCueLLMを提案する。我々は、IEMOCAPとMELDの2つのデータセット上でSpeechCueLLMを評価し、感情認識精度を大幅に改善した。
論文参考訳（メタデータ） (2024-07-31T03:53:14Z)
LLMs Are Zero-Shot Context-Aware Simultaneous Translators [16.260150631363313]
大きな言語モデル(LLM)が注目されているのは、その汎用性と幅広い言語タスクにおける強力なパフォーマンスのおかげでである。ここでは,オープンソースのLLMが同時機械翻訳(SiMT)タスクにおいて,最先端のベースラインと同等以上の性能を発揮することを示す。
論文参考訳（メタデータ） (2024-06-19T11:57:42Z)
ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
論文参考訳（メタデータ） (2024-03-30T10:11:26Z)
Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文参考訳（メタデータ） (2024-02-26T09:36:05Z)
Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
論文参考訳（メタデータ） (2023-12-30T14:20:04Z)
Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文参考訳（メタデータ） (2023-12-21T05:32:49Z)
On-the-Fly Fusion of Large Language Models and Machine Translation [3.718665608549311]
我々は,同じタスクと入力に対して,LLMを用いた機械翻訳モデルのオンザフライアンサンブルを提案する。 LLMはNMTモデルの翻訳を改善することができ、LLMとのアンサンブルは2つのより強いMTモデルをアンサンブルするよりも優れた翻訳を生成することができる。
論文参考訳（メタデータ） (2023-11-14T16:49:33Z)
DialogueLLM: Context and Emotion Knowledge-Tuned Large Language Models for Emotion Recognition in Conversations [28.15933355881604]
大規模言語モデル(LLM)は、多くの下流自然言語処理(NLP)タスクに対して異常な有効性を示している。 LLaMAモデルの微調整により得られた文脈と感情の知識をチューニングしたLLMであるダイアログLLMを提案する。会話データセットにおける3つの感情認識のベンチマークについて,提案手法の総合評価を行った。
論文参考訳（メタデータ） (2023-10-17T16:15:34Z)
Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文参考訳（メタデータ） (2023-10-10T03:06:38Z)
Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。本稿では, MMT における LLM の利点と課題を体系的に検討する。また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。