論文の概要: Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals
- arxiv url: http://arxiv.org/abs/2607.11505v1
- Date: Mon, 13 Jul 2026 12:56:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.47439
- Title: Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals
- Title(参考訳): Proxy Exploration and Reuseable Guidance: Proxy-Guided Update Signals によるModular LLM Post-Training Paradigm
- Abstract要約: Proxy-Guided Update Signal Transfer (PUST)は、分散アライメントから更新信号探索を根本的に分離する、ポストトレーニングフレームワークである。
PUSTは計算オーバーヘッドを大幅に削減し、最適化信号の非同期生成、キャッシュ、再利用を可能にする。
- 参考スコア(独自算出の注目度): 48.04226595566376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-training is essential for refining the domain-specific capabilities of large language models (LLMs), yet existing reward optimization and distribution matching methods tightly couple policy exploration with distribution alignment. This coupling forces expensive exploration directly on the policy model and severely hinders the asynchronous generation, reuse, and cross-model transfer of optimization signals. In this paper, we propose Proxy-guided Update Signal Transfer (PUST), a novel post-training framework that fundamentally decouples update-signal exploration from distribution alignment. Instead of utilizing the primary model for costly exploration, PUST employs a lightweight proxy model as an efficient testbed to discover high-reward behaviors. We extract the relative improvement signal between the proxy's initial and optimized states, transferring this directional update to the primary model to guide its policy alignment. This decoupled pipeline, comprising proxy exploration, update-signal extraction, and signal transfer, significantly reduces computational overhead and enables optimization signals to be asynchronously generated, cached, and reused. Crucially, by transferring relative improvements rather than absolute policy distributions, PUST naturally supports weak-to-strong improvement and seamless cross-model transfer. Systematic evaluations on Qwen3-family models across math and code domains demonstrate that update signals extracted from substantially weaker proxies can robustly and adjustably enhance stronger primary models. Ultimately, PUST transforms post-training from a monolithic online optimization process into a highly modular, reusable, and cost-efficient paradigm.
- Abstract(参考訳): ポストトレーニングは,大規模言語モデル(LLM)のドメイン特化機能を改善する上で不可欠である。
この結合は、ポリシーモデルに直接費用のかかる探索を強制し、最適化信号の非同期生成、再利用、モデル間転送を著しく妨げます。
本稿では,更新信号のアライメントから更新信号の探索を根本的に分離する新しい後学習フレームワークであるProxy-Guided Update Signal Transfer (PUST)を提案する。
PUSTは、コストのかかる探索に主要なモデルを利用する代わりに、高速なテストベッドとして軽量なプロキシモデルを使用して、ハイリワードな振る舞いを発見する。
我々は、プロキシの初期状態と最適化状態の間の相対的な改善信号を抽出し、この方向更新をプライマリモデルに転送し、ポリシーアライメントを導出する。
プロキシ探索、更新信号抽出、信号転送を含む分離パイプラインは、計算オーバーヘッドを大幅に削減し、最適化信号の非同期生成、キャッシュ、再利用を可能にする。
重要なことは、絶対的な政策分布よりも相対的な改善を移すことによって、PUSTは自然に弱い対強の改善とシームレスなクロスモデル転送をサポートする。
数学およびコード領域にわたるQwen3ファミリーモデルの体系的評価は、かなり弱いプロキシから抽出された更新信号が、より強いプライマリモデルを堅牢かつ適応的に強化できることを証明している。
最終的にPUSTは、ポストトレーニングをモノリシックなオンライン最適化プロセスから、高度にモジュール化され、再利用可能な、コスト効率のパラダイムに変換する。
関連論文リスト
- Step Back to Move Forward: Reflection-Aware Preference Optimization for Visual Generation [12.58348084349179]
Reflection-Aware GRPO は拡散生成モデルのための新しい RL ベースのリフレクションアライメントフレームワークである。
本研究では, 拡散過程を弱い推定器で反転させることにより, 中間サンプリング軌道を補正する拡散反射法を提案する。
また,これらの整形軌跡を暗黙的に抽出し,探索による探索の利点を内在化できるようにするために,対物経路合成を導入している。
論文 参考訳(メタデータ) (2026-09-03T04:37:19Z) - Scaling Reinforcement Learning for Diffusion Models via Velocity Matching [66.34541945134916]
RewardBenchファインチューニングは、人間の好みやタスク固有の目的に拡散モデルを適用するための重要なツールである。
自己回帰モデルとは異なり、拡散モデルは生成したサンプルの抽出可能な可能性を提供しない。
本稿では,速度場に直接作用する単純なトラジェクトリフリー更新である報酬ベースベロシティマッチング(RVM)を提案する。
論文 参考訳(メタデータ) (2026-08-24T17:13:43Z) - GIRL-DETR: Gradient-Isolated Reinforcement Learning for Video Moment Retrieval [10.034595422596562]
ビデオモーメント検索(VMR)タスクは、自然言語クエリに沿った時間境界を正確にローカライズする必要がある。
GIRL-DETRは、RLポストトレーニングを、初めて軽量な時間的ローカライゼーションフレームワークに導入する。
論文 参考訳(メタデータ) (2026-05-30T15:40:00Z) - Dance Across Shifts: Forward-Facilitation Continual Test-Time Adaptation through Dynamic Style Bridging [65.11234199720428]
継続的テスト時間適応(Continuous Test-Time Adaptation)は、デプロイメント後に発生する動的分散シフトを処理するために、知覚システムを強化することを目的としている。
動的スタイルブリッジと呼ばれる手法により,新しいフォワードファシリケーションパラダイムを導入する。
テスト期間中に、固有の生成バイアスを緩和し、これらのプロキシを入力データに適用するために、マルチレベルブリッジ機構を提案する。
論文 参考訳(メタデータ) (2026-05-18T16:18:17Z) - PARM: Pipeline-Adapted Reward Model [60.769414637325326]
リワードモデル(RM)は、大規模言語モデル(LLM)を人間の好みと整合させることの中心であり、高度な復号化戦略を推進している。
これまでの作業はシングルステップ生成に重点を置いていたが、現実のアプリケーションはますますマルチステージパイプラインを採用するようになっている。
我々は、最適化のためのコード生成を通じてこれを調査し、報酬モデルを定式化とソリューション段階の両方に統合するパイプラインを構築する。
論文 参考訳(メタデータ) (2026-04-20T14:29:08Z) - RecNet: Self-Evolving Preference Propagation for Agentic Recommender Systems [109.9061591263748]
RecNetは、レコメンデータシステムのための自己進化的な好みの伝達フレームワークである。
関連ユーザやアイテム間で、リアルタイムの好み更新を積極的に伝達する。
逆相では、フィードバック駆動の伝搬最適化機構がマルチエージェント強化学習フレームワークをシミュレートする。
論文 参考訳(メタデータ) (2026-01-29T12:14:31Z) - Network-Level Vehicle Delay Estimation at Heterogeneous Signalized Intersections [4.534054317956599]
本研究では,様々な交差点を横断する車両遅延を推定するためのドメイン適応(DA)フレームワークを提案する。
新たなDAモデルであるGradient Boosting with Balanced Weighting (GBBW)は、ターゲットドメインとの類似性に基づいてソースデータを重み付けする。
8つの最先端ML回帰モデルと7つのインスタンスベースのDA手法で性能を評価する。
論文 参考訳(メタデータ) (2025-10-01T05:19:50Z) - Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。
本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。
本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2025-05-26T08:53:02Z) - Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。
現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。
モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-13T06:40:34Z) - The Gradient Convergence Bound of Federated Multi-Agent Reinforcement
Learning with Efficient Communication [20.891460617583302]
連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討
FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。
本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T07:21:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。