論文の概要: TextualRL: Textual Reinforcement Learning for Context Management

• arxiv url: http://arxiv.org/abs/2610.18216v1
• Date: Tue, 13 Oct 2026 11:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.605867
• Title: TextualRL: Textual Reinforcement Learning for Context Management
• Title（参考訳）: TextualRL:コンテキスト管理のためのテキスト強化学習
• Abstract要約: TextualRLは勾配のない強化学習フレームワークで、同じタスクから同じコンテキスト下でロールアウトするグループを扱う。 Groupwise Policy Critiqueは、タスク内の成功と失敗のロールアウトを対比し、保存する価値のある行動や補修仮説を定式化するためのクロスタスクの証拠を描いている。 Cross-Group Policy Updateは、グループ間でプールされた証拠に対する提案をレビューした。
• 参考スコア（独自算出の注目度）: 55.50029888438733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents can adapt to task feedback by revising the textual context that guides their behavior, without changing their model parameters. However, turning execution rewards into reusable context updates is challenging: individual trajectories offer limited comparative evidence about what to change, while task-specific fixes may overgeneralize when incorporated into a shared context. We introduce TextualRL, a gradient-free reinforcement learning framework that treats a group of rollouts from the same task under the same context, rather than an isolated trajectory, as the unit of policy critique. Groupwise Policy Critique contrasts successful and failed rollouts within a task; when outcomes are uniform, it draws on cross-task evidence to identify behaviors worth preserving or formulate repair hypotheses. Cross-Group Policy Update reviews the resulting proposals against evidence pooled across groups, including observations that yield no proposed edit, to refine their content and applicability. Reviewed proposals form a bounded textual patch, with adoption of the candidate context determined by held-out validation rewards. Together, these components establish a reward-driven policy optimization loop in which multiple attempts jointly inform reusable context updates. We evaluate TextualRL with five target agents on six benchmarks. Averaged over the six benchmarks, TextualRL improves test accuracy over the base model by 24.4 and 15.3 percentage points for GPT-5.5 and Qwen3.8-27B, respectively.
• Abstract（参考訳）: LLMエージェントは、モデルパラメータを変更することなく、その振る舞いを導くテキストコンテキストを変更することで、タスクフィードバックに適応することができる。 しかし、実行報酬を再利用可能なコンテキスト更新に変換することは難しい。個々のトラジェクトリは、変更すべきことに関する限定的な比較証拠を提供する一方、タスク固有の修正は、共有コンテキストに組み込まれた時に過度に一般化する可能性がある。 我々は、政策批判の単位として、孤立した軌道ではなく、同じ状況下で同じタスクからロールアウトするグループを扱い、勾配のない強化学習フレームワークであるTextualRLを紹介した。 Groupwise Policy Critiqueは、タスク内での成功と失敗のロールアウトを対照的にしている。結果が均一である場合、それは、保存に値する振る舞いを識別したり、修復仮説を定式化するために、クロスタスクのエビデンスを引き合いに出す。 Cross-Group Policy Updateは、グループ間でプールされた証拠に対する提案をレビューする。 レビューされた提案は、保留のバリデーション報酬によって決定される候補コンテキストを採用して、境界付きテキストパッチを形成する。 これらのコンポーネントが組み合わさって報酬駆動型ポリシー最適化ループを構築し、複数の試みが再利用可能なコンテキスト更新を共同で通知する。 6つのベンチマークで5つのターゲットエージェントを用いてTextualRLを評価した。 6つのベンチマークで評価され、TextualRLはGPT-5.5とQwen3.8-27Bでそれぞれ24.4と15.3の精度でベースモデルのテスト精度を向上した。

関連論文リスト

• MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning [25.293359481992013]
  そこで,MetaRubricを導入し,エビデンスを意識したポリシー最適化と応答誘導適応を交互に行う。 複数のバックボーン全体で、MetaRubricは、静的ジャッジGRPOよりもPubMedQAの精度を6.00-20.40ポイント向上させる。
  論文  参考訳（メタデータ） (2026-10-02T05:16:42Z)
• MARCO: Multi-Round Agentic Reinforcement for Conditional Molecular Optimization [54.020314646710204]
  我々は分子エディターを訓練する評価器を用いた強化学習フレームワークであるMARCOを紹介する。 MARCOは、形をしたターン報酬を、グループ相対的なポリシー最適化のための未公表の軌道リターンに集約する。 このトレーニングの結果は,一応の予算でトレーニングされたポリシをテストし,同じポリシが検証者フィードバックを利用できるかどうかをSame-5でテストする,という2つの結果が得られた。
  論文  参考訳（メタデータ） (2026-09-29T04:21:05Z)
• When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation [7.171282546185869]
  Intent-Guided Decodingは、検索したコンテキストとパラメトリックメモリをユーザ意図に応じて調停する。 IGDはファクトリカバリを大幅に改善し、ダイレクトRAGよりも65.4ポイントの利得を達成している。
  論文  参考訳（メタデータ） (2026-08-17T12:56:43Z)
• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• Evaluating Interactive Reasoning in Large Language Models: A Hierarchical Benchmark with Executable Games [20.896576101848655]
  本稿では,推論を積極的証拠獲得と信条更新として扱う,推論評価のための多ターン対話型フレームワークを提案する。 フレームワークを474の実行可能なゲームのベンチマークとしてインスタンス化し、それぞれ5つの難易度に対応する5つの固定構成探索空間で評価する。 その結果、ベンチマークは高い差別性を示し、成功率だけでなく相互作用効率にも大きな違いが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-26T09:12:30Z)
• Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation [57.97548022208733]
  キー値抽出における表面的選択が精度と安定性のシフトを引き起こすことを示す。 生成前の文脈表現を適応的に標準化する戦略であるコンテキスト正規化を導入する。
  論文  参考訳（メタデータ） (2025-10-15T06:28:25Z)
• CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
  CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。 トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。 また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
  論文  参考訳（メタデータ） (2025-10-03T08:50:21Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。