論文の概要: A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL

• arxiv url: http://arxiv.org/abs/2606.02398v1
• Date: Mon, 01 Jun 2026 15:44:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.402643
• Title: A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL
• Title（参考訳）: マルチドメインRLにおけるクロスドメイン干渉とリカバリのための局所摂動理論
• Authors: Lei Yang, Siyu Ding, Deyi Xiong,
• Abstract要約: 単一領域のRLは、上位変化ニューロン間の重なりが弱い、スパースで小振幅のパラメータの編集を生成する。 マルチドメインRLの局所モデルの下では、後続のドメイントレーニングは、主に2階の損傷項によって、以前のドメインに害を与えることが証明される。
• 参考スコア（独自算出の注目度）: 49.589717630468876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) post-training improves large language models (LLMs) on individual domains such as mathematical reasoning, code generation, question answering, and creative writing (CW), but training on one domain often degrades performance on others. Existing explanations based on catastrophic forgetting or global gradient conflict are incomplete: substantial interference can occur even when full-model gradients are nearly orthogonal. We show that single-domain RL produces sparse, small-magnitude parameter edits with weak overlap among top-changed neurons, while different domains still share substantial active computation routes on which update directions determine whether they act synergistically or conflict. Guided by this observation, we prove under a local perturbation model of multi-domain RL that later-domain training harms an earlier domain mainly through a second-order damage term, which under the observed sparse route structure concentrates in a low-dimensional shared conflict subspace. Moreover, a short domain refresh contracts the harmful component on this subspace, enabling selective recovery with limited collateral damage. Consistent with the theory, a brief Re-Math refresh after Code $\rightarrow$ Math $\rightarrow$ QA $\rightarrow$ CW recovers Math from 57.66 to 66.04 while largely preserving performance on the other domains, yielding the best average score of 66.39. Beyond refresh, a training-free rollback on a sparse proxy conflict coordinate set for the Math-QA pair partially restores Math, providing direct proxy-level evidence for localized damage. These results provide a localized mechanistic account of interference and recovery in multi-domain RL.
• Abstract（参考訳）: 強化学習(RL)は、数学的推論、コード生成、質問応答、クリエイティブ・ライティング(CW)など、個々のドメインにおける大きな言語モデル(LLM)を改善するが、あるドメインでのトレーニングは、他のドメインのパフォーマンスを劣化させることが多い。 破滅的な忘れ方や大域的な勾配の衝突に基づく既存の説明は不完全であり、フルモデル勾配がほぼ直交している場合でもかなりの干渉が生じる。 単一領域のRLは、高次変化ニューロン間の重なりが弱いスパースな小経度パラメータの編集を生成する一方で、更新方向が相乗的あるいは相反するかどうかを判断する有効な計算経路を依然として共有していることを示す。 本研究は, マルチドメインRLの局所摂動モデルを用いて, 低次元の共有競合部分空間にスパース経路構造が集中する2次損傷項によって, 後続ドメイントレーニングが早期ドメインに害を与えることを示す。 さらに、短いドメインリフレッシュは、このサブスペース上の有害なコンポーネントを収縮させ、副次的損傷を限定した選択的リカバリを可能にする。 この理論と一致して、Code $\rightarrow$ Math $\rightarrow$ QA $\rightarrow$ CWはMathを57.66から66.04に回復するが、他の領域のパフォーマンスは保たれ、平均スコアは66.39となった。 リフレッシュ以外にも、Math-QAペア用のスパースプロキシ競合座標セット上のトレーニング不要なロールバックは、部分的にMathを復元し、ローカライズされた損傷のプロキシレベルを直接証拠として提供する。 これらの結果は、マルチドメインRLにおける干渉と回復の局所的な力学的な説明を与える。

関連論文リスト

• Harmony in Diversity: Multi-domain Contrastive Policy Optimization for Large Reasoning Models [38.65301275836433]
  後学習は大規模推論モデル(LRM)の推論能力を大幅に向上させた マルチドメイン設定におけるGRPOスタイルのRLメソッドは、ポリシー最適化に固有の干渉があるため、すべてのドメインで一貫した改善を達成できないことが多い。 マルチドメインコントラストポリシー最適化(MCPO)を提案し、ロールアウト間の構造的関係を分析し、ドメイン間の知識共有を促進する。
  論文  参考訳（メタデータ） (2026-05-25T05:42:57Z)
• LLM-EDT: Large Language Model Enhanced Cross-domain Sequential Recommendation with Dual-phase Training [53.539682966282534]
  クロスドメインシーケンスレコメンデーション (CDSR) は、様々なドメインからの情報を取り入れることで、ユーザとイテムのインタラクションを強化するために提案されている。 現在の進歩にもかかわらず、不均衡問題と移行問題はCDSRのさらなる発展を妨げる。 デュアルフェーズトレーニング(LLM-EDT)によるLLMの拡張型クロスドメインシーケンスレコメンデーションを提案する。
  論文  参考訳（メタデータ） (2025-11-25T05:18:04Z)
• WeaveRec: An LLM-Based Cross-Domain Sequential Recommendation Framework with Model Merging [24.949880939628386]
  WeaveRecは、複数のLoRAモジュールにソースとターゲットのドメインデータをウィービング形式で相互にトレーニングする。 WeaveRecは、ターゲットドメインにおける期待されるエラーの上限を下げることができるという理論的な保証を提供する。
  論文  参考訳（メタデータ） (2025-10-30T14:37:15Z)
• Unsupervised Structural-Counterfactual Generation under Domain Shift [1.9652313502216219]
  本稿では,ソース領域からの事実観測に基づいて,対象領域における対実サンプルの生成という,新たな生成モデル課題を提案する。 本フレームワークは, 対象領域からの影響-内在変数の後方分布と, 対象領域からの領域-内在変数の事前分布とを組み合わせて, 所望の反事実を合成する。
  論文  参考訳（メタデータ） (2025-02-17T16:48:16Z)
• Decoupled Training: Return of Frustratingly Easy Multi-Domain Learning [20.17925272562433]
  マルチドメイン学習は、複数の重複するが識別できないドメインにわたって、最小限の平均リスクでモデルをトレーニングすることを目的としている。 本稿では,D-Train(Decoupled Training, D-Train)を提案する。 D-Trainは、まずルートモデルを温めるためにすべてのドメインで事前訓練を行い、その後、複数のヘッドに分割して各ドメインでトレーニングを行い、最後にバックボーンを固定して頭部を微調整する3段階の総合訓練戦略である。
  論文  参考訳（メタデータ） (2023-09-19T04:06:41Z)
• Adversarial Bi-Regressor Network for Domain Adaptive Regression [52.5168835502987]
  ドメインシフトを軽減するために、クロスドメインレグレッタを学ぶことが不可欠です。 本稿では、より効果的なドメイン間回帰モデルを求めるために、ABRNet(Adversarial Bi-Regressor Network)を提案する。
  論文  参考訳（メタデータ） (2022-09-20T18:38:28Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Deep Residual Correction Network for Partial Domain Adaptation [79.27753273651747]
  ディープドメイン適応法は、よくラベルされたソースドメインから異なるが関連する未ラベルのターゲットドメインへの転送可能な表現を学習することで、魅力的なパフォーマンスを実現している。 本稿では,効率よく実装された深部残留補正網を提案する。 部分的、伝統的、微粒なクロスドメイン認識に関する総合的な実験は、DRCNが競合深いドメイン適応アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2020-04-10T06:07:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。