論文の概要: Translation Circuit Discovery and Targeted Optimization for Low-Resource Multilingual Translation

• arxiv url: http://arxiv.org/abs/2610.21456v1
• Date: Thu, 15 Oct 2026 07:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.272341
• Title: Translation Circuit Discovery and Targeted Optimization for Low-Resource Multilingual Translation
• Title（参考訳）: 低リソース多言語翻訳のための翻訳回路探索と目標最適化
• Abstract要約: 我々は,Hindi-to-UrduとHindi-to-Sindhiのための多言語デコーダのみのLLMにおける翻訳回路について検討した。 本稿では,因果的介入,スパースな特徴分解,目的とする選好最適化を組み合わせた機械的フレームワークであるTITANを提案する。
• 参考スコア（独自算出の注目度）: 11.604070280203539
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent multilingual large language models achieve strong translation performance, yet the internal mechanisms responsible for low-resource multilingual translation remain insufficiently understood. In this paper, we study translation circuits in multilingual decoder-only LLMs for Hindi-to-Urdu and Hindi-to-Sindhi (Devanagari). We propose TITAN, a mechanistic framework that combines causal intervention, sparse feature decomposition, and targeted preference optimization to identify and optimize crucial translation components in the transformer. Unlike conventional full-parameter fine-tuning, TITAN restricts optimization to sparse, causally important circuits, enabling scalable and parameter-efficient adaptation while updating fewer than 5% of model parameters. Experimental results show that TITAN achieves BLEU improvements of 33.75% on Hindi-to-Urdu and 45.86% on Hindi-to-Sindhi over the strongest multilingual baselines. Human expert evaluation further confirms substantial gains in adequacy and fluency across both language pairs. Additional analyses reveal that multilingual translation is implemented through sparse, structured circuits operating over a shared semantic subspace rather than through an English-centric pivot representation. Overall, our findings demonstrate that mechanistic circuit discovery can directly improve low-resource multilingual translation while providing interpretable insights into multilingual transformer behavior.
• Abstract（参考訳）: 近年の多言語多言語モデルでは翻訳性能は高いが,低リソース多言語翻訳における内部メカニズムは十分に理解されていない。 本稿では,Hindi-to-Urdu と Hindi-to-Sindhi (Devanagari) のための多言語デコーダ専用 LLM の翻訳回路について検討する。 本稿では, 因果的介入, スパースな特徴分解, 目的の選好最適化を組み合わせた機械的フレームワークであるTITANを提案し, トランスフォーマにおける重要な翻訳成分の同定と最適化を行う。 従来のフルパラメータ微調整とは異なり、TITANはスパースで因果的に重要な回路に最適化を制限し、スケーラブルでパラメータ効率の良い適応を可能にし、モデルのパラメータの5%未満を更新する。 実験の結果、TITANはヒンディー語からウルドゥー語へのBLEU改善を33.75%、ヒンディー語からシンディー語への45.86%を達成した。 人間の専門家による評価は、双方の言語ペア間での精度と頻度の大幅な向上をさらに確認する。 さらなる分析により、多言語翻訳は英語中心のピボット表現ではなく、共有セマンティック部分空間上で動作するスパースな構造化回路によって実装されていることが明らかになった。 その結果,機械的回路探索は多言語トランスフォーマーの動作に対する解釈可能な洞察を提供しながら,低リソース多言語翻訳を直接的に改善できることが示唆された。

関連論文リスト

• MERIT: Multilingual Expert-Reward Informed Tuning for Chinese-Centric Low-Resource Machine Translation [9.42682887916488]
  5つの東南アジア低リソース言語(LRL)に対する中国語中心のALTベンチマークを導入する。 LRLtextright Chineseでは、微調整と報酬誘導最適化は、単なるモデルスケーリングよりも劇的に優れている。 これらの結果から、LRLtextright Chineseでは、ターゲットデータと報酬誘導最適化が単なるモデルスケーリングよりも劇的に優れていることが確認された。
  論文  参考訳（メタデータ） (2026-04-06T16:42:34Z)
• Trans-Zero: Self-Play Incentivizes Large Language Models for Multilingual Translation Without Parallel Data [64.4458540273004]
  言語モデル(LLM)の単言語データと本質的な多言語知識のみを活用するセルフプレイフレームワークを提案する。 実験により、このアプローチは大規模並列データに基づいて訓練されたモデルの性能と一致するだけでなく、非英語翻訳の方向でも優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-20T16:20:30Z)
• Rethinking Round-Trip Translation for Machine Translation Evaluation [44.83568796515321]
  ラウンドトリップ翻訳が参照なしで自動評価に利用できるという驚くべき発見を報告する。 ラウンドトリップ翻訳が複数の機械翻訳評価タスクに有用であることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:06:20Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Demystify Optimization Challenges in Multilingual Transformers [21.245418118851884]
  ロスランドスケープとパラメータの可塑性の観点から最適化課題を考察する。 不均衡なトレーニングデータは、高いリソース言語と低いリソース言語の間でタスクの干渉を引き起こす。 Curvature Aware Task Scaling (CATS) を提案し、特にリソースの少ない場合の最適化と一般化の両方を改善します。
  論文  参考訳（メタデータ） (2021-04-15T17:51:03Z)
• Adaptive Sparse Transformer for Multilingual Translation [18.017674093519332]
  多言語モデルの既知の課題は、否定的な言語干渉です。 多言語モデリングのための適応的でスパースなアーキテクチャを提案する。 我々のモデルは、推論コストを増加させることなく、翻訳品質の点で強力なベースラインを上回る。
  論文  参考訳（メタデータ） (2021-04-15T10:31:07Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。