論文の概要: CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations
- arxiv url: http://arxiv.org/abs/2605.26293v1
- Date: Mon, 25 May 2026 19:30:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.387112
- Title: CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations
- Title（参考訳）: CroCo: 自己生成に基づく言語間のコントラスト推論チューニング
- Authors: Mike Zhang, Ali Basirat, Desmond Elliott,
- Abstract要約: 報酬スコアによって設定された大規模言語モデルからの自己生成応答のコントラスト性の制御により、英語のダウンストリーム選好チューニングが改善される。
本手法を複数の言語に拡張し,タスクの多種多様なセットにおいて,14の高低リソース言語を対象とした2つのモデルを評価する。
- 参考スコア（独自算出の注目度）: 15.323051310503688
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Prior work establishes that controlled contrastiveness between self-generated responses from large language models, set via reward scores, improves downstream preference tuning in English. We extend this method to multiple languages and evaluate two models across a total of 14 high and low-resource languages on a diverse set of tasks. Our central finding is that cross-lingual contrastive preference tuning on self-generations (CroCo) transfers without language-specific preference annotation. A reward model trained on English preferences (atop a multilingual base) produces useful within-language rankings across most languages, and pairing in either a monolingual or multilingual setting improves over each model on the majority of setups while preventing the catastrophic forgetting of supervised fine-tuning. We observe that the gains require on-policy data. Off-policy responses reduce the benefit and online preference optimization fails to improve over the offline variant. Specifically, on structured tasks, our method matches or exceeds the base in 6/7 languages for EuroLLM-9B and 4/7 settings for Aya-3B. On open-ended generation, both tuned models win against their respective base across 11 evaluated languages. Overall, we show promising directions for multilingual preference tuning.
- Abstract（参考訳）: 先行研究は、報酬スコアによって設定された大きな言語モデルからの自己生成応答間のコントラスト性を制御することで、英語における下流の嗜好チューニングを改善することを確立している。
本手法を複数の言語に拡張し,タスクの多種多様なセットにおいて,14の高低リソース言語を対象とした2つのモデルを評価する。
我々の中心的な発見は、言語固有の嗜好アノテーションを使わずに、自己生成(CroCo)転送の言語横断的なコントラスト的嗜好チューニングを行うことである。
英語の選好に基づいて訓練された報酬モデル(多言語ベース)は、多くの言語で有用な言語内ランキングを生成し、単一言語または多言語設定のペアリングは、ほとんどの設定において各モデルよりも改善され、教師付き微調整の破滅的な忘れ込みを防ぐ。
我々は、利益が政治上のデータを必要とすることを観察する。
オフラインのレスポンスは利点を減らし、オンラインの好みの最適化はオフラインのバリエーションよりも改善されない。
具体的には、構造化タスクにおいて、EuroLLM-9Bの6/7言語とAya-3Bの4/7設定の6/7言語において、本手法はベースと一致または上回っている。
オープンエンド世代では、両方のチューニングされたモデルが、評価された11の言語でそれぞれのベースに対して勝利する。
全体として、多言語嗜好調整のための有望な方向を示す。
関連論文リスト
- CM-Align: Consistency-based Multilingual Alignment for Large Language Models [84.19366314925593]
高品質な多言語嗜好データを構築するための一貫性に基づくデータ手法を提案する。
具体的には、一貫性のある英語参照選択と、言語間一貫性に基づく多言語嗜好データ構築の2つの部分を含む。
論文 参考訳（メタデータ） (2025-09-10T12:40:49Z) - Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters [53.59868121093848]
7Bパラメータサイズを持つオープンソースの言語モデル(LLM)のファミリーであるSeed-Xを紹介する。
ベースモデルは、28言語にわたるモノリンガルコンテンツとバイリンガルコンテンツの両方を含む、多種多様な高品質データセットで事前訓練されている。
その後、インストラクションモデルは、Chain-of-Thought(CoT)推論によって翻訳され、強化学習(RL)によりさらに強化され、多様な言語対をまたいだより良い一般化が達成される。
論文 参考訳（メタデータ） (2025-07-18T03:19:43Z) - Implicit Cross-Lingual Rewarding for Efficient Multilingual Preference Alignment [35.1576728251478]
提案手法は,暗黙の報奨によって適切に整合した英語モデルからの好みを捉え,反復学習を通じて他言語に伝達する手法である。
2回に分けて微調整したLlama3はウィンレートを平均12.72%改善し、X-AlpacaEvalのリーダーボード上でのトレーニング言語全体の長さ制御ウィンレートを5.97%向上させた。
論文 参考訳（メタデータ） (2025-03-06T17:33:01Z) - Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed? [40.13166574854085]
英語中心の大規模言語モデルにおいて,多言語間の一般化を実現するために必要な最小限の多言語性について検討する。
複数言語から3言語までの多言語命令チューニングは,効果的な言語間一般化を実現するのに必要かつ十分であることがわかった。
論文 参考訳（メタデータ） (2023-12-20T00:49:52Z) - Language-Family Adapters for Low-Resource Multilingual Neural Machine
Translation [129.99918589405675]
自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。
マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。
言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
論文 参考訳（メタデータ） (2022-09-30T05:02:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。