論文の概要: CONGRAD:Conflicting Gradient Filtering for Multilingual Preference Alignment

• arxiv url: http://arxiv.org/abs/2503.23777v1
• Date: Mon, 31 Mar 2025 06:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:36:42.020033
• Title: CONGRAD:Conflicting Gradient Filtering for Multilingual Preference Alignment
• Title（参考訳）: CONGRAD:多言語選好アライメントのためのグラディエントフィルタの競合
• Authors: Jiangnan Li, Thuy-Trang Vu, Christian Herold, Amirhossein Tebbifakhr, Shahram Khadivi, Gholamreza Haffari,
• Abstract要約: 本稿では,言語間の最小勾配の衝突を最小限に抑えた高品質な選好サンプルを選択する,スケーラブルで効率的なフィルタリング手法を提案する。 本手法は,多言語更新方向を集約したサンプルを保持するために勾配手術を利用する。 CONGRADを自己回帰フレームワークに統合し、LLaMA3-8BとGemma2-2Bを10言語で評価する。
• 参考スコア（独自算出の注目度）: 40.44120745699753
• License:
• Abstract: Naive joint training of large language models (LLMs) for multilingual preference alignment can suffer from negative interference. This is a known issue in multilingual training, where conflicting objectives degrade overall performance. However, the impact of this phenomenon in the context of multilingual preference alignment remains largely underexplored. To address this issue, we propose CONGRAD, a scalable and effective filtering method that selects high-quality preference samples with minimal gradient conflicts across languages. Our method leverages gradient surgery to retain samples aligned with an aggregated multilingual update direction. Additionally, we incorporate a sublinear gradient compression strategy that reduces memory overhead during gradient accumulation. We integrate CONGRAD into self-rewarding framework and evaluate on LLaMA3-8B and Gemma2-2B across 10 languages. Results show that CONGRAD consistently outperforms strong baselines in both seen and unseen languages, with minimal alignment tax.
• Abstract（参考訳）: 多言語選好アライメントのための大規模言語モデル(LLM)の有意な共同訓練は、負の干渉に悩まされる可能性がある。 これは多言語トレーニングにおける既知の問題であり、競合する目的が全体的なパフォーマンスを低下させる。 しかし、多言語選好アライメントの文脈におけるこの現象の影響は、大半が未解明のままである。 この問題に対処するために,言語間の最小勾配の衝突を最小限に抑えた高品質な選好サンプルを選択する,スケーラブルで効率的なフィルタリング手法であるCONGRADを提案する。 本手法は,多言語更新方向を集約したサンプルを保持するために勾配手術を利用する。 さらに,勾配蓄積時のメモリオーバーヘッドを低減するサブ線形勾配圧縮戦略を取り入れた。 CONGRADを自己回帰フレームワークに統合し、LLaMA3-8BとGemma2-2Bを10言語で評価する。 結果から、CONGRADは目に見える言語と目に見えない言語の両方において、アライメント税を最小限に抑えながら、強いベースラインを一貫して上回っていることがわかった。

関連論文リスト

• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)
• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
  既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。 意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:36:53Z)
• Multi-Level Contrastive Learning for Cross-Lingual Alignment [35.33431650608965]
  マルチリンガルBERT(mBERT)のような言語間事前学習モデルは、様々な言語間下流のNLPタスクにおいて大きな性能を発揮している。 本稿では,事前学習モデルの言語間能力の向上を図るために,マルチレベルコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-26T07:14:20Z)
• Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning [61.29879000628815]
  知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。 本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。 様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2021-10-06T09:10:10Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Demystify Optimization Challenges in Multilingual Transformers [21.245418118851884]
  ロスランドスケープとパラメータの可塑性の観点から最適化課題を考察する。 不均衡なトレーニングデータは、高いリソース言語と低いリソース言語の間でタスクの干渉を引き起こす。 Curvature Aware Task Scaling (CATS) を提案し、特にリソースの少ない場合の最適化と一般化の両方を改善します。
  論文  参考訳（メタデータ） (2021-04-15T17:51:03Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。