Fugu-MT 論文翻訳(概要): Downstream-Aware Context Selection for Online In-Context Reinforcement Learning

論文の概要: Downstream-Aware Context Selection for Online In-Context Reinforcement Learning

arxiv url: http://arxiv.org/abs/2609.33166v1
Date: Sun, 27 Sep 2026 03:42:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 02:34:54.036913
Title: Downstream-Aware Context Selection for Online In-Context Reinforcement Learning
Title（参考訳）: オンラインインコンテキスト強化学習のためのダウンストリーム対応コンテキスト選択
Abstract要約: 歴史的相互作用を除去するタスク依存の下流効果を予測する境界付き歴史文脈管理フレームワークを提案する。本手法は, 閉ループSUMO運転において, 停止状態, 不可視領域, 不可視経路設定下での評価を行う。フルコンテキストを用いたベースラインとは対照的に、3つの駆動設定でトークンの総使用量を25.7%、25.8%、23.2%削減する。
参考スコア（独自算出の注目度）: 19.77188144768621
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In-context reinforcement learning (ICRL) enables large language model agents to adapt to new environments using their interaction history without updating model parameters. However, repeatedly conditioning on growing histories can lead to substantial token cost. We propose a bounded-history context-management framework that predicts the task-dependent downstream effect of removing historical interactions to guide history selection and determine a decision-dependent context budget. Formally, our framework uses the full rolling history as a reference. The predictor evaluates removal effects, defines a deletion ordering, and applies a shared selection criterion to determine how much history to retain at each decision. We evaluate the method in closed-loop SUMO driving under held-out in-distribution, unseen-domain, and unseen-route settings, and in ScienceWorld under a continual ICRL protocol. Relative to a baseline using the full context, our method reduces total token usage by 25.7%, 25.8%, and 23.2% across the three driving settings while maintaining comparable closed-loop driving performance. In ScienceWorld, it reduces total token usage by 52.1% compared to full context and uses 30.2% and 37.8% fewer tokens than the Recent and Similarity baselines, respectively, while maintaining performance.
Abstract（参考訳）: インコンテキスト強化学習(ICRL)により、大規模言語モデルエージェントは、モデルパラメータを更新することなく、インタラクション履歴を使用して新しい環境に適応することができる。しかし、成長履歴を何度も条件付けると、相当なトークンコストが発生する可能性がある。本研究では,歴史的相互作用を取り除き,歴史選択をガイドし,意思決定に依存した文脈予算を決定するという,タスク依存の下流効果を予測できるコンテキスト管理フレームワークを提案する。正式には、当社のフレームワークはロール履歴全体を参照として使用しています。予測器は削除効果を評価し、削除順序を定義し、共有選択基準を適用して各決定にどれだけの履歴を保持するかを決定する。 In-distriion, unseen-domain, and unseen-route settings, and in ScienceWorld under a continual ICRL protocol。本手法は,全コンテキストを用いたベースラインと比較して,最大25.7%,25.8%,23.2%のトークン使用量を3つの駆動設定で削減し,同じクローズドループ駆動性能を維持した。 ScienceWorldでは、全体のトークン使用量をフルコンテキストと比較して52.1%削減し、パフォーマンスを維持しながら、最新および類似性のベースラインよりも30.2%と37.8%少ないトークンを使用する。

関連論文リスト

When Can Agents Forget Their Reasoning? ICLR for Long-Horizon Agent Context Compression [55.84813053778976]
ロングホライズル言語モデルエージェントは、推論履歴を継続的に蓄積する。歴史的推論の除去は、将来の行動と結果として生じる相互作用の軌跡を変える可能性がある。長軸推論のためのインタラクションアウェア圧縮を提案する。
論文参考訳（メタデータ） (2026-09-24T14:28:43Z)
DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
論文参考訳（メタデータ） (2026-09-23T03:06:01Z)
ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL [30.70875568757697]
ロングホライゾンのエージェントタスクは、多ターンインタラクションをまたいだ分散情報を反復的に取得、統合、維持するために大きな言語モデルを必要とする。近年のプロアクティブなコンテキスト管理手法では、モデルが独自の作業コンテキストを特別なツールで編集できるようになっている。本稿では,長期エージェント推論のための能動的コンテキスト管理フレームワークであるContextPilotを紹介する。
論文参考訳（メタデータ） (2026-08-28T16:01:08Z)
ECHO: Prune to act, trace to learn with selective turn memory in agentic RL [9.429418772354397]
ECHOは、ソースインデックスによる再構築を通じて、履歴の崩壊とトレース可能な学習に対処する、選択的なターンメモリフレームワークである。 BrowseComp-Plusでは、ECHOの保持精度は43.4%に達し、GRPO(28.9%)とローリングサマーベースラインSUPO(36.1%)を上回っている。
論文参考訳（メタデータ） (2026-06-30T13:29:58Z)
Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
論文参考訳（メタデータ） (2026-06-05T17:16:21Z)
Chain-of-Context Learning: Dynamic Constraint Understanding for Multi-Task VRPs [27.821803041439953]
マルチタスク車両ルーティング問題(VRP)は、様々な制約を満たすとともに、ルーティングコストを最小限にすることを目的としている。既存のソルバは通常、タスク間で一般化可能なパターンを学ぶために統合強化学習(RL)フレームワークを採用する。我々は、進化するコンテキストを段階的にキャプチャして、きめ細かいノード適応を導く新しいフレームワークであるChain-of-Context Learning (CCL)を提案する。
論文参考訳（メタデータ） (2026-03-02T09:57:15Z)
Influence Guided Context Selection for Effective Retrieval-Augmented Generation [23.188397777606095]
Retrieval-Augmented Generation (RAG)は、大きな言語モデル(LLM)の幻覚に対処する。既存のアプローチは、定義済みのコンテキスト品質評価指標に基づいて、コンテキスト選択によるパフォーマンスの向上を試みる。我々は、文脈品質評価を推論時データ評価問題として再認識し、文脈影響値(CI値)を導入する。リストから各コンテキストを除去する際の性能劣化を測定することにより、コンテキスト品質を定量化する。
論文参考訳（メタデータ） (2025-09-21T07:19:09Z)
Exploring the Limits of Historical Information for Temporal Knowledge Graph Extrapolation [59.417443739208146]
本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。 CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。提案したモデルを5つのベンチマークグラフで評価する。
論文参考訳（メタデータ） (2023-08-29T03:26:38Z)
Continuous Doubly Constrained Batch Reinforcement Learning [93.23842221189658]
環境とのオンラインインタラクションではなく、固定されたオフラインデータセットのみを使用して効果的なポリシーを学ぶバッチRLのアルゴリズムを提案する。バッチRLにおける制限されたデータは、トレーニングデータに不十分に表現された状態/動作の値推定に固有の不確実性をもたらす。この分散を減らすための政策制約と、過度に楽観的な見積もりを妨げる価値制約という2つの簡単な罰則によってこの問題を軽減することを提案する。
論文参考訳（メタデータ） (2021-02-18T08:54:14Z)
Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
論文参考訳（メタデータ） (2021-01-05T18:11:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。