論文の概要: Multilingual Fine-Tuning via Localized Gradient Conflict Resolution

• arxiv url: http://arxiv.org/abs/2606.05613v1
• Date: Thu, 04 Jun 2026 02:36:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-06 06:55:34.630057
• Title: Multilingual Fine-Tuning via Localized Gradient Conflict Resolution
• Title（参考訳）: 局所的なグラディエント・コンフリクト・レゾリューションによる多言語ファインチューニング
• Authors: Long P. Hoang, Yiran Zhao, Wei Lu, Wenxuan Zhang,
• Abstract要約: 我々は、勾配に基づくMOOアルゴリズムを局所的に適用するスケーラブルな分散フレームワークであるBucket-Level MOOを紹介した。 実証的に、Bucket-Level MOOは大きな言語モデルを駆動することで干渉を緩和し、異なる言語固有の次元を構築する。 提案手法は,従来の微調整パラダイムよりも多言語性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 20.41455787951831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid evolution of Large Language Models (LLMs) has established cross-lingual versatility as a defining feature of modern systems. However, fine-tuning these models frequently induces negative interference across languages. To address this, we reformulate multilingual fine-tuning as a multi-objective optimization (MOO) problem. Specifically, we introduce Bucket-Level MOO, a scalable distributed framework that applies gradient-based MOO algorithms locally on parameter buckets. This enables conflict-aware updates without the prohibitive communication overhead of reconstructing full gradient vectors. Theoretically, we prove this localized resolution natively enforces Refined Pareto Stationarity, a strictly tighter necessary condition for Pareto optimality. Empirically, Bucket-Level MOO mitigates interference by driving LLMs to construct distinct language-specific dimensions, improving representational separability. Extensive experiments across four base LLMs demonstrate that our method significantly improves both seen and unseen multilingual performance over standard fine-tuning paradigms.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進化は、現代のシステムの定義機能として言語間の汎用性を確立している。 しかし、これらのモデルを微調整すると、言語間のネガティブな干渉が頻繁に引き起こされる。 これを解決するために,多言語微調整を多目的最適化(MOO)問題として再検討する。 具体的には、パラメータバケットに勾配に基づくMOOアルゴリズムを局所的に適用するスケーラブルな分散フレームワークであるBucket-Level MOOを紹介する。 これにより、完全な勾配ベクトルを再構築する際の通信オーバーヘッドが禁じられることなく、コンフリクトを意識した更新が可能になる。 理論的には、この局所分解能は、パレート最適性にとってより厳密な条件である精製パレート定常性(Refined Pareto Stationarity)を自然に強制する。 実証的に、Bucket-Level MOOはLLMを駆動することで干渉を緩和し、異なる言語固有の次元を構築し、表現分離性を向上させる。 提案手法は, 従来の微調整パラダイムよりも, 目に見える, 見えない多言語的性能を著しく向上することを示した。

関連論文リスト

• TLPO: Token-Level Policy Optimization for Mitigating Language Confusion in Large Language Models [6.468917070386353]
  大規模言語モデル(LLM)は、強い多言語機能を示すが、意図した言語で一貫して応答を生成できないことが多い。 Token-Level Policy Optimization (TLPO) は,局所化およびトークンレベルの更新による言語混乱を軽減するための微調整フレームワークである。
  論文  参考訳（メタデータ） (2026-04-29T11:39:43Z)
• COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling [0.023074632109535153]
  ターゲット言語に大規模言語モデルを適用するための,データ中心のフレームワークを導入する。 我々は、既存のトレーニングデータとターゲット利用分布のセマンティックギャップを特定するために、分布対応サンプリング戦略を用いる。 我々はこれを継続的学習フレームワークに拡張し、本番環境でのデータ分散シフトを監視し、アダプタを動的に更新し、モデルの不安定さを防ぐ。
  論文  参考訳（メタデータ） (2026-04-22T16:07:10Z)
• LVRPO: Language-Visual Alignment with GRPO for Multimodal Understanding and Generation [51.071351994330605]
  統一型マルチモーダル事前訓練は,単一の基礎モデル内での言語とビジョンを共同でモデル化するための,有望なパラダイムとして登場した。 既存のアプローチは暗黙的あるいは間接的なアライメント信号に大きく依存しており、マルチモーダル理解と生成を同時にサポートするのに最適である。 LVRPOは言語と視覚的表現を明確に整合させる言語-視覚的強化に基づく嗜好最適化フレームワークである。
  論文  参考訳（メタデータ） (2026-03-29T13:38:21Z)
• Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models [67.45032003041399]
  本稿では,MLLMに対する敵例の転送可能性を高めるために,MPCAttack(Multi-Paradigm Collaborative Attack)フレームワークを提案する。 MPCOは異なるパラダイム表現の重要性を適応的にバランスさせ、グローバルな最適化を導く。 我々のソリューションは、オープンソースおよびクローズドソースMLLMに対する標的および未ターゲットの攻撃において、常に最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2026-03-05T06:01:26Z)
• Align Once, Benefit Multilingually: Enforcing Multilingual Consistency for LLM Safety Alignment [15.241143079313757]
  既存のモノリンガルアライメントパイプラインに組み込むことができるMLC(Multi-Lingual Consistency)ロスをプラグアンドプレイで導入する。 これにより、低リソース言語でのセマンティックレスポンスレベルの監視を必要とせずに、多言語プロンプト変種のみを使用して、複数の言語を同時にアライメントすることができる。
  論文  参考訳（メタデータ） (2026-02-18T18:01:23Z)
• Multi-Objective Hierarchical Optimization with Large Language Models [41.41567058185742]
  大規模言語モデル(LLM)は、多目的最適化を推進するための既定の選択肢ではない。 本稿では,このギャップを,構造化階層型探索戦略内での代理モデルと候補サンプルとしてLLMを活用することで解決する。
  論文  参考訳（メタデータ） (2026-01-20T12:10:13Z)
• PlaM: Training-Free Plateau-Guided Model Merging for Better Visual Grounding in MLLMs [59.78917775399492]
  マルチモーダル命令の微調整はパラドックス的にこのテキストの推論能力を低下させる。 この劣化を緩和するためのトレーニング不要のフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-12T15:27:51Z)
• Topological Alignment of Shared Vision-Language Embedding Space [5.5522557994489246]
  ToMCLIPは、トポロジ保存制約で埋め込み空間を整列するトポロジ対応フレームワークである。 マルチリンガル表現の構造コヒーレンスの向上,CIFAR-100でのゼロショット精度の向上,およびxFlickr&COでのマルチリンガル検索性能の向上を示す。
  論文  参考訳（メタデータ） (2025-10-13T01:36:38Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。