論文の概要: MALT: Mechanistic Ablation of Lossy Translation in LLMs for a Low-Resource Language: Urdu

• arxiv url: http://arxiv.org/abs/2502.00041v1
• Date: Mon, 27 Jan 2025 13:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-09 04:50:37.220618
• Title: MALT: Mechanistic Ablation of Lossy Translation in LLMs for a Low-Resource Language: Urdu
• Title（参考訳）: MALT:低リソース言語のためのLLMにおけるロシー翻訳の機械的アブレーション:Urdu
• Authors: Taaha Saleem Bajwa,
• Abstract要約: 本稿では,低リソース言語処理においてLLMが直面している課題を,Urduが解決するためのユースケースとして取り上げる。 本研究は,低リソース言語においても,LLMの内部潜時応答は極めて整合的であることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: LLMs are predominantly trained on English data, which leads to a significant drop in performance on low-resource languages. Understanding how LLMs handle these languages is crucial for improving their effectiveness. This study focuses on Urdu as a use case for exploring the challenges faced by LLMs in processing low-resource languages. LLMs primarily reason in English when prompted in another language, with the final layers acting as translators to convert the English response into the target language. This study finds that even for low-resource languages, the internal latent response of LLMs in English is quite coherent; however, the translation features are lossy and result in poor translations, leading to reduced performance. By mechanistically removing these translation features and using a separate translation model to translate the internal latent response of LLM, the performance of LLMs improves significantly while also preserving the cultural nuances of the input in low-resource languages.
• Abstract（参考訳）: LLMは、主に英語のデータに基づいて訓練されており、低リソース言語のパフォーマンスが大幅に低下する。 LLMがこれらの言語をどのように扱うかを理解することは、その効率性を改善するのに不可欠である。 本稿では,低リソース言語処理においてLLMが直面している課題を,Urduが解決するためのユースケースとして取り上げる。 LLMは、英語の応答を目的の言語に変換するために翻訳者として機能する最終層を他の言語で促すと、主に英語で理にかなった。 本研究は,低リソース言語においても,LLMの内部潜在応答は極めて整合性が高いが,翻訳特性が損なわれ,結果として翻訳能力が低下し,性能が低下することを示した。 これらの翻訳特徴を機械的に除去し、別個の翻訳モデルを用いてLSMの内部潜伏応答を翻訳することにより、低リソース言語における入力の文化的ニュアンスを保ちながら、LCMの性能は大幅に向上する。

関連論文リスト

• Pruning Multilingual Large Language Models for Multilingual Inference [28.36717615166238]
  本研究では,非英語言語におけるMLLMのゼロショット性能を向上させる方法について検討する。 まず、翻訳を行う際のMLLMの挙動を分析し、翻訳過程において重要な役割を果たす大きな特徴があることを明らかにする。
  論文  参考訳（メタデータ） (2024-09-25T13:15:50Z)
• MindMerger: Efficient Boosting LLM Reasoning in non-English Languages [26.334092384176518]
  推論能力は大規模言語モデル(LLM)にとって不可欠である 我々は,多言語モデルからLLMと外部言語理解機能を融合したMindMergerを提案する。 MindMergerは、特に低リソース言語において、すべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-05-27T17:41:54Z)
• Fine-Tuning Large Language Models to Translate: Will a Touch of Noisy Data in Misaligned Languages Suffice? [33.376648335299116]
  大きな言語モデル(LLM)は、32のパラレル文で微調整された後、強い翻訳能力を示す。 英語のみを対象とするLLMは、非英語への翻訳を妨げるタスクの誤解釈につながる可能性がある。 未表現言語で合成されたデータは、顕著な効果が低い。
  論文  参考訳（メタデータ） (2024-04-22T12:21:12Z)
• Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages [48.40607157158246]
  大規模言語モデル(LLM)は、英語、ドイツ語、フランス語のような高リソース言語で、低リソース言語の能力は依然として不十分である。 内部表現を用いたLLM性能に基づいて,言語をベンチマークし,ランク付けするための固有測度であるLanguage Rankerを提案する。 分析の結果,高リソース言語は英語との類似度が高く,性能が優れ,低リソース言語は類似度が低いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T16:53:16Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。