Fugu-MT 論文翻訳(概要): IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents

論文の概要: IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents

arxiv url: http://arxiv.org/abs/2608.06735v1
Date: Fri, 07 Aug 2026 02:59:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-10 16:21:25.334774
Title: IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents
Title（参考訳）: IB-RL:ストラテジック対話エージェントのための分離バイラテラル強化学習
Abstract要約: 強化学習(Reinforcement Learning, RL)は、数学的推論やコード実行など、定常的で検証可能な報酬を持つタスクにおいて、大きな言語モデル(LLM)を改善する上で大きな成果を上げている。このようなインタラクティブな性質にもかかわらず、現在のRLアプローチは通常、固定されたエージェントやシミュレータに対してターゲットエージェントを訓練する。この訓練パラダイムは、政策が相互に共通する戦略を学習するよりも、相補的な正規性を活用することを奨励している。本稿では,両ロールが共同ロールアウトを通じて共進化し,各ロールが完全に独立したアドバンテージ,アクションマスクを通じて自身の報酬を最適化する,分離型バイラテラル強化学習(IB-RL)を提案する。
参考スコア（独自算出の注目度）: 7.9227321734048495
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning (RL) has achieved strong results in improving large language models (LLMs) on tasks with stationary, verifiable rewards, such as mathematical reasoning and code execution. In these settings, the environment follows fixed rules and does not adapt strategically to the agent. Strategic dialogue differs in this respect: the environment is another agent that adapts to the policy, and success depends on the interaction between the two sides. Despite this interactive nature, current RL approaches typically train a target agent against a fixed counterpart or simulator. We find that this training paradigm encourages the policy to exploit counterpart-specific regularities rather than learn strategies that generalize across counterparts. We call this problem the static-counterpart mismatch, which we quantify directly in our experiments. To address it, we propose Isolated Bilateral Reinforcement Learning (IB-RL), in which the two roles coevolve through joint rollouts while each role optimizes its own reward through fully independent advantages, action masks, and update paths. We evaluate frozen policies against fully independent held-out counterparts in both domains. On Vehicle TeleSales, IB-RL achieves 89.6% Success@1, compared to 84.6% for the best unilateral RL baseline. On Deal-or-NoDeal, it reaches 98.4% agreement against DeepSeek V4 Pro, compared to 86.4% for the best unilateral baseline. These results indicate that jointly training both roles with strict peragent isolation produces policies that generalize more effectively to unseen counterparts.
Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、数学的推論やコード実行など、定常的で検証可能な報酬を持つタスクにおいて、大きな言語モデル(LLM)を改善する上で大きな成果を上げている。これらの設定では、環境は一定のルールに従い、エージェントに戦略的に適応しません。環境はポリシーに適応する別のエージェントであり、成功は両者の相互作用に依存する。このようなインタラクティブな性質にもかかわらず、現在のRLアプローチは通常、固定されたエージェントやシミュレータに対してターゲットエージェントを訓練する。この訓練パラダイムは、政策が相互に共通する戦略を学習するよりも、相補的な正規性を活用することを奨励している。この問題を静的カウンタのミスマッチと呼び、実験で直接定量化します。そこで本研究では,両ロールが共同ロールアウトを通じて共進化し,各ロールが独立したアドバンテージ,アクションマスク,更新パスを通じて自身の報酬を最適化する,分離されたバイラテラル強化学習(IB-RL)を提案する。両ドメインの完全独立型保留者に対する凍結政策の評価を行った。 Vehicle TeleSalesでは、IB-RLは89.6%のSuccess@1を達成し、一方のRLベースラインでは84.6%を達成している。 Deal-or-NoDealでは、DeepSeek V4 Proに対して98.4%の合意に達し、一方のベースラインでは86.4%となっている。以上の結果から, 厳密なペラガント分離を併用して両ロールを共同訓練することにより, より効果的に, 目に見えない役割に一般化する政策がもたらされることが示唆された。

関連論文リスト

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
論文参考訳（メタデータ） (2026-08-18T01:16:02Z)
EnvRL: Learn from Environment Dynamics in Agentic Reinforcement Learning [78.62829041672663]
強化学習(RL)は大規模言語モデル(LLM)をエージェントとして訓練するための強力なパラダイムとして登場した。本稿では,環境動態学習をエージェントRLに組み込むフレームワークであるEnvRLを提案する。
論文参考訳（メタデータ） (2026-06-16T08:48:09Z)
Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation [3.8479372725359418]
CPPO(Contrastive Proximal Policy optimisation)を紹介する。 CPPOは、コントラストQ値から直接ポリシーの利点を導き出す、政治上のコントラストRLアルゴリズムである。連続・離散・単エージェント・協調マルチエージェントタスクにおけるCPPOの評価を行った。
論文参考訳（メタデータ） (2026-05-13T13:58:49Z)
RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
論文参考訳（メタデータ） (2026-03-09T16:23:33Z)
Heterogeneous Agent Collaborative Reinforcement Learning [52.99813668995983]
不均一エージェント協調強化学習(HACRL) 本稿では,このパラダイムに基づいて,サンプル利用とエージェント間の知識伝達を最大化するために,原則的なロールアウト共有を可能にする協調RLアルゴリズムであるHACPOを提案する。多様な異種モデルの組み合わせと推論ベンチマークによる実験により、HACPOはすべてのエージェントを一貫して改善し、GSPOを平均3.3%上回り、ロールアウトコストの半分しか使っていないことが示された。
論文参考訳（メタデータ） (2026-03-03T05:09:49Z)
ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
論文参考訳（メタデータ） (2026-01-10T08:43:07Z)
Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文参考訳（メタデータ） (2025-09-23T16:15:42Z)
Pre-Trained Policy Discriminators are General Reward Models [81.3974586561645]
政策差別学習(POLAR)という,スケーラブルな事前学習手法を提案する。 POLARは報酬モデル(RM)を訓練し、同一のポリシーを識別し、異なるポリシーを識別する。実証実験の結果、POLARは従来の非事前学習法よりも大幅に優れていた。
論文参考訳（メタデータ） (2025-07-07T16:56:31Z)
On the Linear Speedup of Personalized Federated Reinforcement Learning with Shared Representations [15.549340968605234]
フェデレート強化学習(FedRL)は、エージェントと環境相互作用の間に収集された局所的な軌跡を共有することなく、複数のエージェントが協調的にポリシーを学ぶことを可能にする。異種環境におけるエージェント間の共通構造を生かし, 共生型FedRLフレームワーク(PFedRL)を導入する。
論文参考訳（メタデータ） (2024-11-22T15:42:43Z)
Robust Reinforcement Learning on State Observations with Learned Optimal Adversary [86.0846119254031]
逆摂動状態観測による強化学習の堅牢性について検討した。固定されたエージェントポリシーでは、摂動状態の観測に最適な敵を見つけることができる。 DRLの設定では、これは以前のものよりもはるかに強い学習された敵対を介してRLエージェントに新しい経験的敵対攻撃につながります。
論文参考訳（メタデータ） (2021-01-21T05:38:52Z)
Pareto Deterministic Policy Gradients and Its Application in 5G Massive MIMO Networks [32.099949375036495]
我々は,強化学習(RL)アプローチを用いて,セルロードバランスとネットワークスループットを協調的に最適化することを検討する。 RLの背景にある理論的根拠は、ユーザモビリティとネットワークのダイナミクスを解析的にモデル化することの難しさを回避することである。この共同最適化を実現するために、ベクトル報酬をRL値ネットワークに統合し、別々のポリシーネットワークを介してRLアクションを実行する。
論文参考訳（メタデータ） (2020-12-02T15:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。