論文の概要: Context-Aware RL for Agentic and Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2606.17053v1
• Date: Mon, 15 Jun 2026 17:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:05.19205
• Title: Context-Aware RL for Agentic and Multimodal LLMs
• Title（参考訳）: エージェント・マルチモーダルLLMのためのコンテキスト対応RL
• Authors: Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu,
• Abstract要約: コンテキスト認識型強化学習手法であるContextRLを提案する。 クエリー・アンサー・ペアをサポートするコンテキストを選択するモデルに報酬を与える。 5つのロングホライゾンベンチマークで標準GRPOの+2.2%、12種類の視覚的質問応答ベンチマークで+1.8%の平均ゲインを達成している。
• 参考スコア（独自算出の注目度）: 45.19288531697759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often fail when answering requires identifying a small but decisive piece of evidence within a long or complex context, such as a single line in a tool trace or a subtle detail in an image. We propose ContextRL, a context-aware reinforcement learning (RL) method that improves long-horizon reasoning and multimodal performance through an \emph{indirect} auxiliary objective. Instead of supervising only the final answer, ContextRL presents the model with a query, an answer, and two highly similar contexts, and rewards it for selecting the context that supports the query--answer pair, thereby encouraging fine-grained grounding. We construct contrastive context data in two domains: for coding agents, trajectories serve as contexts, yielding 1k pairs built via condition filtering; for multimodal reasoning, images serve as contexts, yielding 7K pairs built via generative editing and similarity search. ContextRL achieves average gains of +2.2% over standard GRPO on 5 long-horizon benchmarks, and +1.8% across 12 diverse visual question answering benchmarks. To disentangle the effect of the proposed objective from that of additional data, we compare against data-augmentation baselines that repurpose the same contrastive contexts as standard query--context--answer examples. These baselines provide little to no improvement, showing that the gains arise from the proposed context-selection objective rather than from the contrastive data alone.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、ツールトレース内の単一行やイメージ内の微妙な詳細といった、長いまたは複雑なコンテキストにおいて、小さなが決定的な証拠の特定を必要とする場合、しばしば失敗する。 本研究では,コンテキスト認識型強化学習(RL)手法であるContextRLを提案する。 最終回答のみを監督する代わりに、ContextRLはクエリ、回答、および2つの非常に類似したコンテキストでモデルを提示する。 符号化エージェントでは、トラジェクトリがコンテキストとして機能し、条件フィルタリングによって構築された1kペアを出力し、マルチモーダル推論では、画像がコンテキストとして機能し、生成的編集と類似性探索によって構築された7Kペアを出力する。 ContextRLは5つのロングホライゾンベンチマークで標準GRPOの+2.2%、12種類の視覚的質問応答ベンチマークで+1.8%の平均ゲインを達成している。 提案する目的と追加データとの相互作用を両立させるため,データ拡張ベースラインを比較し,標準的なクエリ-コンテキスト-回答例と同じコントラスト的コンテキストを再利用する。 これらのベースラインは、対照的なデータのみからではなく、提案された文脈選択の目的から得られる利益を示すため、ほとんど、あるいは全く改善しない。

関連論文リスト

• Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
  Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。 我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。 本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
  論文  参考訳（メタデータ） (2026-03-09T18:20:20Z)
• Context-Picker: Dynamic context selection using multi-stage reinforcement learning [4.539896456749749]
  長文質問応答のための推論対応フレームワークであるemphContext-Pickerを紹介した。 Context-Pickerはコンテキスト選択を、人間にインスパイアされた2段階の強化学習スケジュールを通じて最適化された意思決定プロセスとして扱う。 5つの長コンテキストおよびマルチホップQAベンチマークの実験は、Context-Pickerが強力なRAGベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-12-16T14:52:11Z)
• Chunks as Arms: Multi-Armed Bandit-Guided Sampling for Long-Context LLM Preference Optimization [56.97588709890706]
  LongMab-POは、長文モデリングタスクのための高品質で多様な応答を生成する新しいフレームワークである。 実験の結果,LongMab-POは嗜好データペアの多様性と品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-19T16:33:55Z)
• Efficient Context Selection for Long-Context QA: No Tuning, No Iteration, Just Adaptive-$k$ [13.173467492641485]
  本稿では、クエリと候補パスの類似度スコアに基づいて、経路数を適応的に選択する、単純で効果的なシングルパス手法であるAdaptive-$k$を提案する。 モデルファインチューニング、余分なLCM推論、あるいは既存のレトリバー読み取りパイプラインの変更は不要である。 5つのLCLMと2つの埋め込みモデルで精度を向上し、動的にコンテキストサイズを調整することでより効率的で正確なQAが得られることを強調した。
  論文  参考訳（メタデータ） (2025-06-10T06:11:01Z)
• Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
  本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。 ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。 大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
  論文  参考訳（メタデータ） (2024-12-18T04:08:18Z)
• Sufficient Context: A New Lens on Retrieval Augmented Generation Systems [19.238772793096473]
  LLMをコンテキストで拡張すると、多くのアプリケーションのパフォーマンスが向上する。 我々は、クエリに答える十分な情報を持つインスタンスを分類すると共に、十分なコンテキストという新しい概念を開発する。 文脈充足度に基づく誤りの階層化により,コンテキストが十分であれば,より高いベースライン性能を持つ大規模モデルの方がクエリの応答に優れることがわかった。
  論文  参考訳（メタデータ） (2024-11-09T02:13:14Z)
• RARe: Retrieval Augmented Retrieval with In-Context Examples [40.963703726988946]
  本稿では,検索者がコンテキスト内例を利用できるためのシンプルなアプローチを提案する。 RAREは、クエリがターゲットクエリとセマンティックに類似しているコンテキスト内の例で事前訓練されたモデルを微調整する。 RAReは、コンテキスト内例のないクエリを用いたモデルと比較して、ドメイン外一般化がより強力であることがわかった。
  論文  参考訳（メタデータ） (2024-10-26T05:46:20Z)
• DoubleDipper: Improving Long-Context LLMs via Context Recycling [44.24067814871803]
  In-Context-Learning法であるDoubleDipperを提案する。 提案手法を大規模言語モデルに適用し,大幅な改良を行った。 驚いたことに、シングルホップICLの例しか導入していないにもかかわらず、LLMはマルチホップ長文QAに一般化することに成功している。
  論文  参考訳（メタデータ） (2024-06-19T15:28:29Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。