論文の概要: Breaking the Impasse: Dual-Scale Evolutionary Policy Training for Social Language Agents

• arxiv url: http://arxiv.org/abs/2605.08721v1
• Date: Sat, 09 May 2026 06:10:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.835246
• Title: Breaking the Impasse: Dual-Scale Evolutionary Policy Training for Social Language Agents
• Title（参考訳）: 失敗を打破する:社会言語エージェントのための二段階的進化的政策トレーニング
• Abstract要約: 本稿では,社会言語ゲームのためのDual-scale Evolutionary Policy Training (DEPT)を提案する。 DEPTは、不連続を検出する時間スケールの進化的知覚機構を導入している。 本手法は, 勾配信号を効果的に復元し, 持続的な戦略的探索を行う。
• 参考スコア（独自算出の注目度）: 38.60685324043556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Reinforcement Learning with Verifiable Rewards (RLVR) has proven effective for closed-ended tasks, extending it to open-ended social language games via self-play reveals a critical issue: evolution impasse. Due to the vast strategy space, language agents frequently converge to homogenized behaviors, leading to deterministic match outcomes that eliminate the gradient signals necessary for policy evolution. To tackle this issue, we propose Dual-scale Evolutionary Policy Training (DEPT) for social language games. DEPT introduces a time-scaled evolutionary perception mechanism that detects impasse by quantifying dual-scale value baseline divergence alongside match entropy. Upon perceiving the collapse, it then activates asymmetric advantage reshaping to dynamically modulate the optimization landscape for intervention. Thus, our method effectively restores gradient signals and enforces sustained strategic exploration. Extensive experiments on multiple social language games demonstrate that DEPT outperforms strong baselines, avoiding policy degeneration and driving the continuous evolution of social language agents.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR)は、クローズドエンドなタスクに効果があることが証明されているが、セルフプレイによるオープンエンドなソーシャル言語ゲームにまで拡張することは、進化の欠如という重要な問題を明らかにしている。 広大な戦略空間のため、言語エージェントは、しばしば均質化された行動に収束し、政策の進化に必要な勾配信号を排除する決定論的マッチング結果をもたらす。 この問題に対処するため,社会言語ゲームのためのDual-scale Evolutionary Policy Training (DEPT)を提案する。 DEPTは、一致エントロピーと並行して、二重スケールの値ベースラインのばらつきを定量化することで、不連続を検出する時間スケールの進化的知覚機構を導入する。 崩壊を知覚すると、非対称な有利な整形を活性化し、介入のために最適化風景を動的に変調する。 そこで本手法は,勾配信号を効果的に復元し,戦略的な探索を継続する。 複数のソーシャルランゲージゲームに関する大規模な実験は、DEPTが強力なベースラインを上回り、政策の悪化を避け、ソーシャルランゲージエージェントの継続的な進化を促進することを実証している。

関連論文リスト

• SocialRL: Refining LLMs' Social Intelligence through Multi-turn Reinforcement Learning and Reward Design [52.69818441707104]
  ソーシャルインテリジェンスにより、エージェントは社会的文脈を読み、意図を推測し、持続的な対話に適応することができる。 既存の強化学習手法は、1ターン発話とスパース結果報酬を最適化する。 両課題に対処する多ターン強化学習フレームワークSocialRLを提案する。
  論文  参考訳（メタデータ） (2026-09-09T06:06:34Z)
• Self-Improving Large Language Models via Progressive Experience Evolution [52.03479747358687]
  textbfSPEE(textbfSelf-textbfProgressive textbfExperience textbfEvolution)を提案する。 5つの数学的推論ベンチマークの実験は、SPEEが3つのモデルスケールでテスト時間とトレーニング時間の両方の自己進化ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T12:27:32Z)
• From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training [55.744284393275926]
  強化学習(RL)は,複雑なタスクにおいて大規模言語モデル(LLM)を改善する手法として広く採用されている。 既存のRL法は、長い水平相互作用を持つ訓練エージェントの課題に直面している。 本稿では,現在の政策分布と後向き分布の両方を意図空間に投影する,新しい政策勾配法,HPO(Hindsight Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-28T08:35:47Z)
• Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
  本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。 SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。 ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-05-18T10:05:21Z)
• ALSO: Adversarial Online Strategy Optimization for Social Agents [63.84788516416339]
  社会シミュレーションにおけるオンライン戦略最適化のための最初のフレームワークとしてtextbfALSO (textbfAdrial ontextbfLine textbfStrategy textbfOptimization) を提案する。 ALSOは、スタティック・ペルソナとダイナミック・ストラテジー・インストラクションの組み合わせをアームとして扱う対向バンドイット問題として、マルチターンインタラクションを定式化する。 また、相互作用履歴から報酬を予測する軽量なニューラルサロゲートを導入し、サンプル効率の高い探索と継続的なオンライン適応を可能にしている。
  論文  参考訳（メタデータ） (2026-05-15T09:25:15Z)
• COvolve: Adversarial Co-Evolution of Large-Language-Model-Generated Policies and Environments via Two-Player Zero-Sum Game [15.550671286269209]
  Covolveは継続的改善エージェントを構築するための共進化的なフレームワークである。 実行可能Pythonコードとして表現された環境とエージェントポリシーの両方を生成する。 この結果は,オープンエンド学習を実現するためのLLM駆動型共進化の可能性を示すものである。
  論文  参考訳（メタデータ） (2026-03-30T12:56:54Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Position: Agentic Evolution is the Path to Evolving LLMs [56.733933092220845]
  この制限に対処するには、新たなスケーリング軸進化が必要です。 既存の展開時適応手法では、障害を診断し、持続的な改善を生み出すために必要な戦略的機関が欠如している。
  論文  参考訳（メタデータ） (2026-01-30T22:15:58Z)
• Learn the Ropes, Then Trust the Wins: Self-imitation with Progressive Exploration for Agentic Reinforcement Learning [41.90621652673528]
  エージェントLLMを学習するためのカリキュラムベースの自己アニメーション学習(SIL)レシピであるSPEARを提案する。 具体的には,本手法は,本質的な報奨を生かして,技術レベルの探究を促進するためのカリキュラムを取り入れている。 さらにトレーニングを安定させるために、リプレイバッファでの経験の利点を再検討し、潜在的ポリシードリフトに対処する。
  論文  参考訳（メタデータ） (2025-09-26T17:20:38Z)
• Ghost Policies: A New Paradigm for Understanding and Learning from Failure in Deep Reinforcement Learning [0.9790236766474201]
  Arvolutionは、Augmented Reality(AR)フレームワークである。 「エージェントの歴史的に失敗した政策の軌跡を半透明の幽霊と表現する」 本稿では,DRLエージェントの障害を重要かつ実用的な学習資源に変換するパラダイムシフトを提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:56:42Z)
• Evolution-based Region Adversarial Prompt Learning for Robustness Enhancement in Vision-Language Models [52.8949080772873]
  本稿では,ER-APTと呼ばれる進化型領域逆アプティブチューニング手法を提案する。 各トレーニングイテレーションでは、まず従来の勾配法を用いてAEを生成する。 次に、AEsを最適化するために、選択、突然変異、交差を含む遺伝的進化機構を適用する。 最終進化型AEは、従来の単点対向的な高速チューニングの代わりに、地域ベースの対向最適化を実現するために用いられる。
  論文  参考訳（メタデータ） (2025-03-17T07:08:47Z)
• Simulation of Language Evolution under Regulated Social Media Platforms: A Synergistic Approach of Large Language Models and Genetic Algorithms [6.550725258692423]
  ソーシャルメディアプラットフォームは、しばしばユーザーコンテンツを穏健化するために制限的なポリシーを課し、創造的回避言語戦略の出現を促している。 本稿では,規制制約下での言語戦略の反復的進化をシミュレートする,Large Language Models (LLM)に基づくマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-26T14:59:27Z)
• Evolution of Societies via Reinforcement Learning [10.689403855269704]
  本稿では,強化学習エージェントの個体群を進化的規模でシミュレーションする手法を提案する。 政策グラディエント(PG)と対極学習意識(LOLA)の高速かつ並列化可能な実装を導出する。 我々は,異質な共学習エージェントによる非常に大きな集団の進化を,ナイーブな学習戦略と高度な学習戦略の両方の下でシミュレートすることで,我々のアプローチを実証する。
  論文  参考訳（メタデータ） (2024-10-22T22:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。