論文の概要: NLPG: Natural-Language Policy Gradients for Self-Evolving Language Agents

• arxiv url: http://arxiv.org/abs/2609.33379v1
• Date: Sun, 27 Sep 2026 09:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:35:24.856647
• Title: NLPG: Natural-Language Policy Gradients for Self-Evolving Language Agents
• Title（参考訳）: NLPG:自己進化型言語エージェントのための自然言語ポリシーグラディエント
• Abstract要約: 大規模な言語モデルエージェントは、検索、ツールの使用、推論、検証のための複合プログラムにますます依存している。 既存の強化学習とプロンプト最適化アプローチは、スカラー報酬に依存するか、あるいはすべてのプロンプトを繰り返し変更する。 本研究では、モデルパラメータやプログラム構造を変更することなく、固定エージェントを改善するための外部ポリシーメモリ手法であるNLPGを提案する。
• 参考スコア（独自算出の注目度）: 9.244891316909845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model agents increasingly rely on compound programs for retrieval, tool use, reasoning, and verification, yet their failures often arise from local procedural decisions. Existing reinforcement-learning and prompt-optimization approaches typically rely on scalar rewards or repeatedly modify entire prompts, making it difficult to capture and reuse procedural improvements while preserving a frozen agent. To address this problem, We propose Natural-Language Policy Gradients (NLPG), an external policy-memory method for improving a fixed agent without changing its model parameters or program structure. NLPG diagnoses execution traces, propagates downstream feedback backward through the module graph, and converts recurring failures into route-local natural-language corrections that are aggregated into bounded policy updates for subsequent executions. Across six benchmarks covering memory, reasoning, instruction following, and evidence verification, NLPG also outperforms the strongest listed baseline for each benchmark by 8.71 percentage points on average. These results provide evidence that evaluated procedural experience can be transformed into local and interpretable policy updates, enabling continual improvement of frozen agents.
• Abstract（参考訳）: 大規模な言語モデルエージェントは、検索、ツールの使用、推論、検証のための複合プログラムにますます依存しているが、それらの失敗は、しばしば局所的な手続き決定から生じる。 既存の強化学習とプロンプト最適化アプローチは、通常、スカラー報酬に頼るか、すべてのプロンプトを繰り返し変更するので、凍結剤を保存しながら手続き的改善を捕捉し再利用することは困難である。 この問題を解決するために、モデルパラメータやプログラム構造を変更することなく、固定エージェントを改善するための外部ポリシーメモリ手法であるNLPG(Natural-Language Policy Gradients)を提案する。 NLPGは実行トレースを診断し、モジュールグラフを通じて下流からのフィードバックを伝達し、繰り返し発生する障害をルートローカルな自然言語修正に変換する。 メモリ、推論、命令フォロー、エビデンス検証を含む6つのベンチマークで、NLPGは各ベンチマークで最上位のベースラインを平均8.71ポイント上回っている。 これらの結果は、評価された手続き経験が局所的かつ解釈可能なポリシー更新に変換され、凍結剤の継続的な改善を可能にする証拠となる。

関連論文リスト

• Towards Evolving Context Parameterization for Large Language Models [13.314849988154707]
  PLUMEは、グローバルな更新表現を構築し、メモリエビデンスを活性化してローカルパラメータビューを形成する、トレーニング不要の手法である。 PLUMEの有効性は, 平均ROUGE-Lリコールでは29.9%, LLM-as-a-Judgeでは54.9%であった。
  論文  参考訳（メタデータ） (2026-09-12T21:55:33Z)
• GUPO: Gradient Uncertainty-aware Policy Optimization for Post-Training Large Language Models [44.63057841001313]
  グループ相対政策最適化(GRPO)は、大規模言語モデル(LLM)の訓練後アプローチとして広く使われている。 GRPOでは、同じミニバッチ内の異なるクエリによって引き起こされるグループ勾配を直接評価し、ポリシー更新を形成する。 私たちの経験的分析は、グループ段階の対立は、より効果的な政策更新と結びつく傾向があることを示唆している。
  論文  参考訳（メタデータ） (2026-08-18T06:22:55Z)
• STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning [80.78140312980484]
  我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。 我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。 様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T11:04:31Z)
• Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models [18.829572148850563]
  ACE(Agentic Context Engineering)は、コンテキストを進化するプレイブックとして扱うフレームワークである。 エージェントとドメイン固有のベンチマークを通じて、ACEは一貫して強力なベースラインを上回っている。 ACEは、ラベル付けされた監視なしに効果的に適応することができ、代わりに自然な実行フィードバックを活用することができる。
  論文  参考訳（メタデータ） (2025-10-06T09:30:18Z)
• How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
  マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。 本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。 IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
  論文  参考訳（メタデータ） (2025-08-28T15:57:33Z)
• Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization [103.70896967077294]
  本稿では,レトロスペクティブモデルを学習することで,大規模言語エージェントを強化するための原則的枠組みを提案する。 提案するエージェントアーキテクチャは,事前学習した言語モデルを微調整するために,複数の環境やタスクにまたがる報酬から学習する。 様々なタスクの実験結果から、言語エージェントは時間とともに改善することが示された。
  論文  参考訳（メタデータ） (2023-08-04T06:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。