論文の概要: Aligning Translation-Specific Understanding to General Understanding in
Large Language Models
- arxiv url: http://arxiv.org/abs/2401.05072v1
- Date: Wed, 10 Jan 2024 11:03:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 14:54:07.770526
- Title: Aligning Translation-Specific Understanding to General Understanding in
Large Language Models
- Title(参考訳): 翻訳のアライメント-大規模言語モデルにおける一般的な理解
- Authors: Yichong Huang, Xiaocheng Feng, Baohang Li, Chengpeng Fu, Wenshuai Huo,
Ting Liu, Bing Qin
- Abstract要約: 大きな言語モデル(LLM)は驚くべき言語理解と生成能力を示している。
難解な単語のCross-Lingual Interpretation(Cross-Lingual Interpretation)を提案する。
xIoDは、翻訳が難しい単語の言語間解釈を実行し、生成された解釈で翻訳を強化する。
- 参考スコア(独自算出の注目度): 33.617194314112645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although large language models (LLMs) have shown surprising language
understanding and generation capabilities, they have yet to gain a
revolutionary advancement in the field of machine translation. One potential
cause of the limited performance is the misalignment between the
translation-specific understanding and general understanding inside LLMs. To
align the translation-specific understanding to the general one, we propose a
novel translation process xIoD (Cross-Lingual Interpretation of Difficult
words), explicitly incorporating the general understanding on the content
incurring inconsistent understanding to guide the translation. Specifically,
xIoD performs the cross-lingual interpretation for the difficult-to-translate
words and enhances the translation with the generated interpretations.
Furthermore, we reframe the external tools of QE to tackle the challenges of
xIoD in the detection of difficult words and the generation of helpful
interpretations. We conduct experiments on the self-constructed benchmark
ChallengeMT, which includes cases in which multiple SOTA translation systems
consistently underperform. Experimental results show the effectiveness of our
xIoD, which improves up to +3.85 COMET.
- Abstract(参考訳): 大きな言語モデル(LLM)は驚くべき言語理解と生成能力を示しているが、機械翻訳の分野ではまだ革命的な進歩を遂げていない。
限られた性能の潜在的な原因の1つは、翻訳固有の理解とLLM内部の一般的な理解の相違である。
そこで本研究では, 翻訳固有の理解を一般の理解と整合させるため, 翻訳過程 xiod (cross-lingual interpretation of difficult words) を提案する。
具体的には、xIoDは、翻訳困難な単語の言語間解釈を行い、生成した解釈による翻訳を強化する。
さらに、難解な単語の検出と有用な解釈の生成において、xIoDの課題に取り組むためにQEの外部ツールを再構成する。
我々は,複数の sota 翻訳システムが一貫して過小評価されている場合を含む,自己構築型ベンチマーク challengemt の実験を行う。
実験の結果,3.85 COMET まで改善した xIoD の有効性が示された。
関連論文リスト
- Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳(メタデータ) (2023-12-22T19:55:58Z) - MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language
Models to Generalize to Novel Interpretations [37.13707912132472]
人間は言語表現に新しい解釈を割り当てる素晴らしい能力を持っている。
大きな言語モデル(LLM)は知識の切り離しを持ち、何度も微調整を繰り返すのに費用がかかる。
我々は,LLMが文脈内学習を用いて新しい解釈を習得する能力を体系的に分析する。
論文 参考訳(メタデータ) (2023-10-18T00:02:38Z) - Crossing the Threshold: Idiomatic Machine Translation through Retrieval
Augmentation and Loss Weighting [66.02718577386426]
慣用的な翻訳と関連する問題を簡易に評価する。
我々は,変圧器をベースとした機械翻訳モデルが慣用的な翻訳に対して正しくデフォルトとなる点を明らかにするための合成実験を行った。
自然慣用句の翻訳を改善するために, 単純かつ効果的な2つの手法を導入する。
論文 参考訳(メタデータ) (2023-10-10T23:47:25Z) - Towards Effective Disambiguation for Machine Translation with Large
Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。
実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文 参考訳(メタデータ) (2023-09-20T22:22:52Z) - Improving Translation Faithfulness of Large Language Models via
Augmenting Instructions [89.76691340615848]
SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。
SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。
OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
論文 参考訳(メタデータ) (2023-08-24T09:32:29Z) - Benchmarking LLM-based Machine Translation on Cultural Awareness [53.83912076814508]
文化的内容の翻訳は、効果的な異文化間コミュニケーションに不可欠である。
インコンテキスト学習の最近の進歩は、機械翻訳タスクにおける大規模言語モデル(LLM)のガイドに軽量なプロンプトを利用する。
我々は、文化的に関連する並列コーパスを構築するために、新しいデータキュレーションパイプラインを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:56:33Z) - Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。
指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
論文 参考訳(メタデータ) (2020-12-30T12:20:41Z) - It's Easier to Translate out of English than into it: Measuring Neural
Translation Difficulty by Cross-Mutual Information [90.35685796083563]
クロスミューチュアル情報(英: Cross-mutual information、XMI)は、機械翻訳の難易度に関する非対称情報理論の指標である。
XMIは、ほとんどのニューラルマシン翻訳モデルの確率的性質を利用する。
本稿では,現代ニューラル翻訳システムを用いた言語間翻訳の難易度に関する最初の体系的および制御的な研究について述べる。
論文 参考訳(メタデータ) (2020-05-05T17:38:48Z) - Towards Multimodal Simultaneous Neural Machine Translation [28.536262015508722]
同時翻訳では、リアルタイム理解を実現するために、話者の発話が完了する前に文章を翻訳する。
このタスクは、復号時に入力情報が不足しているため、一般的な全文翻訳よりもはるかに難しい。
視覚情報を付加的なモダリティとして活用するマルチモーダル同時ニューラルネットワーク翻訳(MSNMT)を提案する。
論文 参考訳(メタデータ) (2020-04-07T08:02:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。