論文の概要: Dynamic Proxy-Mixing: Transferring Replay Controllers from Small to Large Models for Continual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2606.00400v1
• Date: Fri, 29 May 2026 22:32:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.384753
• Title: Dynamic Proxy-Mixing: Transferring Replay Controllers from Small to Large Models for Continual Instruction Tuning
• Title（参考訳）: 動的プロキシミキシング:連続的指導チューニングのための小型から大規模モデルへのリプレイコントローラの転送
• Abstract要約: 本研究では,小さなプロキシモデル上で動的リプレイコントローラを学習し,凍結したコントローラをより大きなターゲットに転送するフレームワークを提案する。 コントローラは将来のタスクを決して監視せず、正規化されたバリデーション損失とその時間的ダイナミクスから状態を構築し、現在のタスクとアクセス可能なリプレイバッファにマスク付き混合を生成する。 LLaMA-3-8Bでは、5つの連続的な命令チューニングシーケンスで、PROXYmixは平均精度を3.4ポイント改善し、最後の忘れを3.5ポイント削減し、安全性スコアを5.8ポイント向上させる。
• 参考スコア（独自算出の注目度）: 6.908972852063454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual instruction tuning updates a language model through a sequence of new domains, yet each update can progressively erode previously learned capabilities and alignment behavior. Replay is the standard mitigation, but fixed replay ratios are inherently limited because the optimal mixture varies with the current domain, the training stage, and the evolving vulnerability of prior behaviors. We propose PROX-YMIX, a framework that learns a dynamic replay controller on a small proxy model and transfers the frozen controller to a larger target. The controller never observes future tasks and constructs its state from normalized validation losses and their temporal dynamics, producing a masked mixture over the current task and accessible replay buffers. Our core empirical hypothesis is forgetting mirroring: task vulnerability rankings remain largely consistent across model scales even when absolute loss magnitudes differ. We validate this assumption empirically before transferring controllers across scales. On LLaMA-3-8B across five continual instruction tuning sequences, PROXYMIX improves average accuracy by 3.4 points, reduces final forgetting by 3.5 points, and raises safety score by 5.8 points over the strongest non-oracle baseline, at roughly 50x lower policy learning cost than Oracle Target RL. The framework is leakage free and architecture independent at the interface level, and we also identify settings where the proxy assumption breaks down, highlighting limitations for robust deployment.
• Abstract（参考訳）: 連続的な命令チューニングは、新しいドメインのシーケンスを通じて言語モデルを更新するが、各更新は、事前に学習した機能とアライメントの振る舞いを徐々に省くことができる。 リプレイは標準的な緩和法であるが、最適の混合が現在のドメイン、トレーニングステージ、そして以前の動作の進化する脆弱性と異なるため、固定されたリプレイ比は本質的に制限される。 ProX-YMIXは、小さなプロキシモデル上で動的リプレイコントローラを学習し、凍結したコントローラをより大きなターゲットに転送するフレームワークである。 コントローラは将来のタスクを決して監視せず、正規化されたバリデーション損失とその時間的ダイナミクスから状態を構築し、現在のタスクとアクセス可能なリプレイバッファにマスク付き混合を生成する。 私たちの中核的な経験的仮説はミラーリングを忘れることである。タスクの脆弱性ランキングは、絶対的な損失の程度が異なる場合でも、モデルスケール全体にわたってほぼ一貫しています。 我々は、この仮定を、スケール間でコントローラを転送する前に経験的に検証する。 5つの連続的な命令チューニングシーケンスにわたるLLaMA-3-8Bでは、PROXYMIXは平均精度を3.4ポイント改善し、最終忘れを3.5ポイント削減し、最強の非線形ベースラインに対して安全性スコアを5.8ポイント引き上げ、Oracle Target RLの約50倍のポリシー学習コストで向上した。 フレームワークは、インターフェースレベルでは無関係にリークされ、アーキテクチャが無関係であると同時に、プロキシの仮定が壊れるような設定も特定し、ロバストなデプロイメントの制限を強調します。

関連論文リスト

• Robust Policy Optimization via Adversarial Importance Sampling [9.258167884740898]
  本稿では,トラジェクトリよりも重要なサンプリング手法であるAdversarial Importance Smpling(Advis)を導入し,検証可能な最悪のケースリターンを推定・最適化する。 第二に、既存のメソッドのクリーンでシングルファイルの実装と敵攻撃を提供するモジュール型のPyTorchライブラリであるadvrlを紹介する。 第三に、学習した相手の下での評価を再検討し、最適な敵ハイパーパラメータがエージェント間を移動しないことを示し、その結果、頑健さの過大評価につながる可能性がある。
  論文  参考訳（メタデータ） (2026-09-11T16:40:45Z)
• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• StructRL: Structured Action-Space Exploration for Flow-Based VLAs [81.43458629514139]
  フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。 オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。 動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:31:29Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• MANGO: Meta-Adaptive Network Gradient Optimization for Online Continual Learning [6.996743265827468]
  Online Continual Learning (OCL)では、ニューラルネットワークは、制限されたメモリ再生バッファにのみアクセス可能な単一のパスで、非定常データストリームから順次学習する。 既存の方法は、リプレイベースのリハーサル、出力レベルの蒸留、固定正規化、あるいは現在のデータでのメタラーニングによる忘れを抑える。 OCL フレームワークである Meta-Adaptive Network Gradient Optimization (MANGO) を提案する。
  論文  参考訳（メタデータ） (2026-05-18T20:11:26Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Beyond Imitation: Reinforcement Learning Fine-Tuning for Adaptive Diffusion Navigation Policies [31.52910494173408]
  拡散に基づくロボットナビゲーションポリシーは、ロボットの視覚的観察から直接マルチモーダルな軌道を生成することができる。 拡散型ナビゲーションに適した強化学習フレームワークを提案する。 提案手法は, 衝突頻度を低減しつつ, 52.0%から58.7%, SPLを0.49から0.54に改善する。
  論文  参考訳（メタデータ） (2026-03-13T10:14:32Z)
• FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning [63.20028888397869]
  FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-07T13:55:14Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• TrajBooster: Boosting Humanoid Whole-Body Manipulation via Trajectory-Centric Learning [79.59753528758361]
  両足のVLAを促進するために、豊富な車輪付きヒューマノイドデータを活用するクロス・エボディメント・フレームワークであるTrajBoosterを提案する。 私たちのキーとなる考え方は、形態素に依存しないインターフェースとして、エンドエフェクタ・トラジェクトリを使用することです。 以上の結果から,TrajBoosterは既存の車輪付きヒューマノイドデータにより,二足歩行ヒューマノイドVLAの性能を効率的に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2025-09-15T12:25:39Z)
• FLTG: Byzantine-Robust Federated Learning via Angle-Based Defense and Non-IID-Aware Weighting [2.4568855903094815]
  ビザンティン攻撃は、悪意のあるクライアントの更新を操作することで、トレーニングの完全性を脅かす。 既存の手法は、高い悪意のあるクライアント比率と非I.D.データに対する感度の下で、限られたロバスト性に苦しむ。 角度に基づくディフェンスと動的参照選択を統合した新しいアグリゲーションアルゴリズムFLTGを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:39:07Z)
• SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
  SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。 SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。 強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:57Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。