論文の概要: InterQ-RL: Interaction-Aware Correction of Execution Mismatch in Quantized Agentic RL

• arxiv url: http://arxiv.org/abs/2610.35303v1
• Date: Mon, 26 Oct 2026 12:08:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.915133
• Title: InterQ-RL: Interaction-Aware Correction of Execution Mismatch in Quantized Agentic RL
• Title（参考訳）: InterQ-RL: 量子化エージェントRLにおける実行ミスマッチの相互対応補正
• Abstract要約: マルチターンエージェント強化学習は長い閉ループロールアウトに依存しており、生成とKVキャッシュが大きなボトルネックとなる。 既存の量子化ERL法は主に単ターン生成のために設計されている。 本稿では、このアライメント後のミスマッチを修正するために、InterQ-RL(Interaction-aware Reinforcement Learning)を導入する。
• 参考スコア（独自算出の注目度）: 7.074958095345039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn agent reinforcement learning (RL) relies on long closed-loop rollouts, making generation and KV-cache costs a major bottleneck. Quantized rollout reduces these costs, but its low-precision executor also serves as the behavior policy and can induce execution mismatch with the learner. Existing quantized-RL methods are designed primarily for single-turn generation. They align the learner forward with quantized rollout or correct the current-token rollout-learner ratio, without modeling the policy history that produces each agent state. Even after quantization alignment, residual rollout-learner mismatch accumulates along the state-reaching policy history, so a current action may look locally aligned despite a mismatched history. We introduce InterQ-RL (Interaction-aware Quantized Reinforcement Learning) to correct this post-alignment mismatch. It applies bounded execution-prefix correction over the state-reaching policy history, allocates correction strength across action segments by effective support under a fixed displacement budget, and requires no additional model forward pass. We evaluate dense and mixture-of-experts (MoE) backbones from 4B to 30B on ALFWorld, WebShop, and ScienceWorld, with all quantized arms sharing the same rollout with 8-bit weights, activations, and KV cache (W8A8-KV8). Across four environment-backbone settings, InterQ-RL achieves the strongest quantized endpoint result, matching BF16 to within 0.7 points and exceeding it in two settings. It matches or exceeds the learning speed of alignment alone while avoiding its late performance regression.
• Abstract（参考訳）: マルチターンエージェント強化学習(RL)は長い閉ループロールアウトに依存しており、生成とKVキャッシュが大きなボトルネックとなる。 量子ロールアウトはこれらのコストを削減するが、その低精度エグゼキュータは行動ポリシーとしても機能し、学習者との実行ミスマッチを誘発する。 既存の量子化RL法は主に単ターン生成のために設計されている。 彼らは、各エージェント状態を生成するポリシー履歴をモデル化することなく、学習者を量子化されたロールアウトに合わせるか、現在のロールアウト-ラーナー比率を補正する。 量子化アライメントの後にも、残余のロールアウト・ラーナーミスマッチは州の政策履歴に沿って蓄積されるため、現在の行動は、ミスマッチした歴史にもかかわらず、局所的に一致しているように見える。 本稿では、この調整後のミスマッチを修正するために、InterQ-RL(Interaction-aware Quantized Reinforcement Learning)を導入する。 州指定の政策履歴に対して境界付き実行前修正を適用し、固定された変位予算の下で効果的な支援により行動セグメント間で補正強度を割り当て、追加のモデル前方通過を必要としない。 ALFWorld,WebShop,ScienceWorldの4Bから30Bまでの高密度および混合基材(MoE)のバックボーンを8ビットの重み、アクティベーション、KVキャッシュ(W8A8-KV8)で同じロールアウトを共有する量子化アームで評価した。 4つの環境バックボーン設定で、InterQ-RLはBF16を0.7ポイント以内で、2つの設定で上回る、最強の量子化エンドポイント結果を達成する。 遅延パフォーマンスのレグレッションを避けながら、単独でアライメントの学習速度を一致または超過します。

関連論文リスト

• Where Does Staleness Accumulate? Pool Aware Effective Staleness Control for Asynchronous RL in LLM Post-Training [23.686508189372685]
  我々は,ラグが軌道の生涯にわたってどのように蓄積するか,また非同期実行によるウォールクロックの利点を犠牲にすることなく,どのように制御できるかを検討する。 PACE (Pool-Aware Control of Effective Staleness) を導入する。 PACEは、過剰プール占有率を適応的拒絶予算に変換し、有効安定度スコアを用いて軌道の完成度をランク付けする。
  論文  参考訳（メタデータ） (2026-09-29T06:38:31Z)
• SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL [6.238212335422264]
  グループ相対強化学習は、同じプロンプトの兄弟ロールアウトを待つ。 トラジェクトリセンタリングは一般的に,アクターが消費するトークン重み付け量を中心にしないことを示す。 また、学習者の受取命令ではなく、それを生成する政策イベントによって、プロンプトエビデンスを整理する。
  論文  参考訳（メタデータ） (2026-08-25T17:52:19Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• AIS: Adaptive Importance Sampling for Quantized RL [21.387834718338496]
  大規模言語モデル(LLM)の強化学習はロールアウト生成のコストに支配されている。 これは、ロールアウトトレーニングミスマッチを導入し、ポリシー勾配を偏り、推論ベンチマークでトレーニングが完全に崩壊する可能性がある。 このミスマッチは非定常的であり、二重刃の剣として機能し、初期のトレーニングでは探索ボーナスを提供し、トレーナーがアンダーサンプするトラジェクトリーへの勾配を露呈する。 本稿では,適応的重要度サンプリング(AIS)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T03:36:57Z)
• QaRL: Rollout-Aligned Quantization-Aware RL for Fast and Stable Training under Training--Inference Mismatch [33.82215097004296]
  本稿では,QaRL(Rollout Alignment Quantization-Aware RL)を提案する。 数学問題に対するQwen3-30B-A3B MoEでは、QaRLは量子化されたロールアウトトレーニングを+5.5で上回り、安定性を改善し、低ビットスループットの利点を保っている。
  論文  参考訳（メタデータ） (2026-04-09T06:11:46Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• QuRL: Efficient Reinforcement Learning with Quantized Rollout [23.326106976928898]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の学習におけるトレンドパラダイムとなっている。 LLMの自己回帰復号性のため、ロールアウトプロセスはRLトレーニングの効率ボトルネックとなり、総トレーニング時間の最大70%を占める。 本稿では,Quantized Reinforcement Learning(QuRL)を提案する。
  論文  参考訳（メタデータ） (2026-02-15T01:48:10Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。