論文の概要: Uncovering Cross-Objective Interference in Multi-Objective Alignment

• arxiv url: http://arxiv.org/abs/2602.06869v1
• Date: Fri, 06 Feb 2026 16:55:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.496303
• Title: Uncovering Cross-Objective Interference in Multi-Objective Alignment
• Title（参考訳）: 多目的アライメントにおけるクロスオブジェクト干渉の発見
• Abstract要約: 大規模言語モデル(LLM)の多目的アライメントにおける永続的障害モードについて検討し、学習は目的のサブセットのみの性能を向上させると同時に、他のモデルの劣化を引き起こす。
• 参考スコア（独自算出の注目度）: 24.025539867037335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a persistent failure mode in multi-objective alignment for large language models (LLMs): training improves performance on only a subset of objectives while causing others to degrade. We formalize this phenomenon as cross-objective interference and conduct the first systematic study across classic scalarization algorithms, showing that interference is pervasive and exhibits strong model dependence. To explain this phenomenon, we derive a local covariance law showing that an objective improves at first order when its reward exhibits positive covariance with the scalarized score. We extend this analysis to clipped surrogate objectives used in modern alignment, demonstrating that the covariance law remains valid under mild conditions despite clipping. Building on this analysis, we propose Covariance Targeted Weight Adaptation (CTWA), a plug-and-play method that maintains positive covariance between objective rewards and the training signal to effectively mitigate cross-objective interference. Finally, we complement these local improvement conditions with a global convergence analysis under the Polyak--Łojasiewicz condition, establishing when non-convex scalarized optimization achieves global convergence and how cross-objective interference depends on specific model geometric properties.
• Abstract（参考訳）: 大規模言語モデル(LLM)の多目的アライメントにおける永続的障害モードについて検討し、学習は目的のサブセットのみの性能を向上させると同時に、他のモデルの劣化を引き起こす。 我々は、この現象をクロスオブジェクト干渉として形式化し、古典的なスカラー化アルゴリズムにまたがる最初の体系的な研究を行い、干渉が広範に広まり、強いモデル依存を示すことを示す。 この現象を説明するために、我々は、その報酬がスカラー化スコアと正の共分散を示すとき、目的が一階に改善されることを示す局所共分散法則を導出する。 この分析は、現代のアライメントで用いられるクリッピングされたサロゲート目的に拡張され、クリッピングにもかかわらず、穏やかな条件下では共分散法則が有効であることを示す。 この分析に基づいて,目標値と学習信号との正の共分散を保ち,対物干渉を効果的に軽減するプラグイン・アンド・プレイ法であるCTWAを提案する。 最後に、これらの局所改善条件をポリアック-ジョジャシエヴィチ条件の下での大域収束解析で補完し、非凸スキャラライズされた最適化が大域収束を達成するときと、クロスオブジェクト干渉が特定のモデル幾何学的性質にどのように依存するかを確立する。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Multi-Objective Reference-Aligned Machine Unlearning [0.6299766708197883]
  機械学習は、モデルの有用性を維持しながら、特定のトレーニングサンプルの影響を取り除くことを目的としている。 既存の単目的のアプローチ、例えば昇華やランダムレバーベリングは、しばしば矛盾する最適化のダイナミクスと非有界な忘れの目的のために、忘れを誘発する。 本稿では, 損失を, 忘れられたサンプルに対する予測の有界なKLアライメントに置き換えることで, 忘れと保持を共同で最適化する多目的フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-29T22:32:40Z)
• Towards Universal Physical Adversarial Attacks via a Joint Multi-Objective and Multi-Model Optimization Framework [9.467008278776063]
  本稿では,JMOF(Joint Multi-Objective and Multi-Model Optimization Framework)を提案する。 JMOF内では、二重レベル機構が予測出力を共同で抑制し、中間特徴分布を平坦化し、攻撃効率と深い一般化のバランスをとる。 実験により、JMOFは様々なブラックボックス検出器に対して最先端のベースラインを上回っていることが示された。 この研究は、物理的な敵攻撃の一般化限界を推し進め、現実世界のデプロイメントにおける視覚的AI脆弱性を評価するための堅牢なフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-05-18T02:44:54Z)
• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Unifying Model-Free Efficiency and Model-Based Representations via Latent Dynamics [6.208369829942616]
  我々は,新しい強化学習アルゴリズムであるUnified Latent Dynamics (ULD)を提案する。 ULDはモデルベースアプローチの表現力でモデルフリー手法の効率を統一する。 Gymロコモーション、DeepMind Control(プロセプティブおよびビジュアル)、Atariにまたがる80環境での評価を行った。
  論文  参考訳（メタデータ） (2026-02-13T06:06:56Z)
• Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
  フローマッチングは、生成モデリングの強力なフレームワークとして登場した。 速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。 信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:02:30Z)
• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Negative as Positive: Enhancing Out-of-distribution Generalization for Graph Contrastive Learning [60.61079931266331]
  グラフコントラスト学習(GCL)において、最も意味論的に類似したドメイン間負対を正として扱う新たな戦略であるNegative as Positiveを提案する。 実験結果から,GCLのOOD一般化性能が大幅に向上することが確認された。
  論文  参考訳（メタデータ） (2024-05-25T13:29:31Z)
• Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning [20.491176017183044]
  本稿では多目的強化学習(MORL)問題に取り組む。 MOACと呼ばれる革新的なアクター批判アルゴリズムを導入し、競合する報酬信号間のトレードオフを反復的に行うことでポリシーを見出す。
  論文  参考訳（メタデータ） (2024-05-05T23:52:57Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)
• Self-adaptive Re-weighted Adversarial Domain Adaptation [12.73753413032972]
  自己適応型再重み付き対向ドメイン適応手法を提案する。 条件分布の観点からドメインアライメントを強化する。 実証的な証拠は、提案されたモデルが標準的なドメイン適応データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-05-30T08:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。