論文の概要: ReCoVeR the Target Language: Language Steering without Sacrificing Task Performance

• arxiv url: http://arxiv.org/abs/2509.14814v1
• Date: Thu, 18 Sep 2025 10:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.162495
• Title: ReCoVeR the Target Language: Language Steering without Sacrificing Task Performance
• Title（参考訳）: ターゲット言語ReCoVeR:タスクパフォーマンスを犠牲にすることなく言語をステアリングする
• Authors: Hannah Sterz, Fabian David Schmidt, Goran Glavaš, Ivan Vulić,
• Abstract要約: ReCoVeRは、言語固有のステアリングベクトルに基づいた、言語の混乱を低減するための、新しい軽量なアプローチである。 3つのベンチマークと18の言語を含む我々の評価は、ReCoVeRがモノリンガルとクロスランガルの両方のセットアップにおいて、言語の混乱を効果的に軽減していることを示している。
• 参考スコア（独自算出の注目度）: 7.683783054626681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As they become increasingly multilingual, Large Language Models (LLMs) exhibit more language confusion, i.e., they tend to generate answers in a language different from the language of the prompt or the answer language explicitly requested by the user. In this work, we propose ReCoVeR (REducing language COnfusion in VEctor Representations), a novel lightweight approach for reducing language confusion based on language-specific steering vectors. We first isolate language vectors with the help of multi-parallel corpus and then effectively leverage those vectors for effective LLM steering via fixed (i.e., unsupervised) as well as trainable steering functions. Our extensive evaluation, encompassing three benchmarks and 18 languages, shows that ReCoVeR effectively mitigates language confusion in both monolingual and cross-lingual setups while at the same time -- and in contrast to prior language steering methods -- retaining task performance. Our data code is available at https://github.com/hSterz/recover.
• Abstract（参考訳）: 言語が多言語化していくにつれて、LLM(Large Language Models)は言語を混乱させる傾向にある。 本研究では,言語固有のステアリングベクトルに基づく言語混乱を低減するための,新しい軽量なアプローチであるReCoVeRを提案する。 まず,複数並列コーパスの助けを借りて言語ベクターを分離し,そのベクターを固定(非教師なし)およびトレーニング可能なステアリング機能を介して効果的にLLMステアリングに活用する。 3つのベンチマークと18の言語を含む我々の広範な評価は、ReCoVeRが、モノリンガルとクロスランガルの両方のセットアップにおいて、言語の混乱を効果的に軽減し、同時に、以前の言語ステアリング手法とは対照的に、タスクパフォーマンスを維持していることを示している。 データコードはhttps://github.com/hSterz/recover.comから入手可能です。

関連論文リスト

• CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs [1.2057938662974816]
  大規模言語モデル(LLM)は、限られた並列データで訓練されているにもかかわらず、言語間能力を開発する。 多言語LLMにおける言語適応性を評価するための新しい指標であるCoCo-CoLaを紹介する。
  論文  参考訳（メタデータ） (2025-02-18T03:03:53Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• xCoT: Cross-lingual Instruction Tuning for Cross-lingual Chain-of-Thought Reasoning [36.34986831526529]
  CoT(Chain-of-Thought)は、大規模言語モデルにおける推論を誘発する強力なテクニックとして登場した。 本稿では,ハイソース言語から低リソース言語へ知識を伝達するための言語間命令微調整フレームワーク(xCOT)を提案する。
  論文  参考訳（メタデータ） (2024-01-13T10:53:53Z)
• PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning [46.153828074152436]
  我々は、低リソース言語における命令チューニングを強化するために、ピボット言語ガイド生成手法を提案する。 モデルを訓練して、まずピボット言語で命令を処理し、次にターゲット言語で応答を生成する。 提案手法は,LLMの命令追従能力が平均29%向上したことを示す。
  論文  参考訳（メタデータ） (2023-11-15T05:28:07Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning [66.31509106146605]
  命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。 しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。 InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
  論文  参考訳（メタデータ） (2023-05-23T02:51:34Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。