論文の概要: DICE: Dynamic In-Context Example Selection in LLM Agents via Efficient Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2507.23554v1
- Date: Thu, 31 Jul 2025 13:42:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:09.82866
- Title: DICE: Dynamic In-Context Example Selection in LLM Agents via Efficient Knowledge Transfer
- Title（参考訳）: DICE: 効率的な知識伝達によるLLMエージェントの動的実例選択
- Authors: Ruoyu Wang, Junda Wu, Yu Xia, Tong Yu, Ryan A. Rossi, Julian McAuley, Lina Yao,
- Abstract要約: インコンテキスト学習(ICL)によって強化された大規模言語モデルベースエージェントは、複雑な推論やツール使用タスクにおいて強力な能力を示している。
既存のアプローチは典型的には、エージェントやマルチステップの設定を含むサンプルの選択に依存している。
推論の各ステップにおいて最も関連性の高い実演を選択できるエージェントタスクのための理論的に基礎付けられた ICL フレームワーク DICE を提案する。
- 参考スコア（独自算出の注目度）: 50.64531021352504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model-based agents, empowered by in-context learning (ICL), have demonstrated strong capabilities in complex reasoning and tool-use tasks. However, existing works have shown that the effectiveness of ICL is highly sensitive to the choice of demonstrations, with suboptimal examples often leading to unstable or degraded performance. While prior work has explored example selection, including in some agentic or multi-step settings, existing approaches typically rely on heuristics or task-specific designs and lack a general, theoretically grounded criterion for what constitutes an effective demonstration across reasoning steps. Therefore, it is non-trivial to develop a principled, general-purpose method for selecting demonstrations that consistently benefit agent performance. In this paper, we address this challenge with DICE, Dynamic In-Context Example Selection for LLM Agents, a theoretically grounded ICL framework for agentic tasks that selects the most relevant demonstrations at each step of reasoning. Our approach decomposes demonstration knowledge into transferable and non-transferable components through a causal lens, showing how the latter can introduce spurious dependencies that impair generalization. We further propose a stepwise selection criterion with a formal guarantee of improved agent performance. Importantly, DICE is a general, framework-agnostic solution that can be integrated as a plug-in module into existing agentic frameworks without any additional training cost. Extensive experiments across diverse domains demonstrate our method's effectiveness and generality, highlighting the importance of principled, context-aware demo selection for robust and efficient LLM agents.
- Abstract（参考訳）: インコンテキスト学習(ICL)によって強化された大規模言語モデルベースエージェントは、複雑な推論やツール使用タスクにおいて強力な能力を示している。
しかし、既存の研究は、ICLの有効性がデモの選択に非常に敏感であることを示しており、最適以下の例は不安定または劣化したパフォーマンスにつながることが多い。
以前の研究では、いくつかのエージェントやマルチステップの設定を含むサンプルの選択について検討されてきたが、既存のアプローチは概してヒューリスティックやタスク固有の設計に依存しており、理論上は推論ステップにまたがる効果的な実演を構成するための一般的な基準を欠いている。
したがって、エージェント性能に一貫した利益をもたらすデモを選択するための、原則化された汎用的な方法を開発することは、自明ではない。
本稿では,エージェント処理のための理論的基盤となるICLフレームワークであるLDM Agentsの動的In-Context Example SelectionであるDICEを用いて,この課題に対処する。
提案手法は,実演知識を因果レンズを介して伝達可能成分と非伝達可能成分に分解し,後者が一般化を損なう素早い依存関係をいかに導入できるかを示す。
さらに,エージェントの性能向上を保証した段階的選択基準を提案する。
重要なことは、DICEは一般的なフレームワークに依存しないソリューションであり、追加のトレーニングコストなしで既存のエージェントフレームワークにプラグインモジュールとして統合できる。
多様な領域にわたる広範囲にわたる実験は、我々の手法の有効性と汎用性を実証し、堅牢で効率的なLLMエージェントに対する、原則付き、文脈対応のデモ選択の重要性を強調した。
関連論文リスト
- Feature-Based vs. GAN-Based Learning from Demonstrations: When and Why [50.191655141020505]
この調査は、デモから学ぶ機能ベースのアプローチとGANベースのアプローチの比較分析を提供する。
特徴に基づく手法とGANに基づく手法の2分法はますます曖昧になっていると我々は主張する。
論文 参考訳（メタデータ） (2025-07-08T11:45:51Z) - Leveraging In-Context Learning for Language Model Agents [51.2996117207114]
インコンテキスト学習(ICL)と動的に選択されたデモは、大規模言語モデル(LLM)の柔軟性と、トレーニングデータを活用してパフォーマンスを向上させる能力を組み合わせたものだ。
実演における類似タスクの軌道選択は, LLMエージェントの性能, 信頼性, 堅牢性, 効率を著しく向上させることを示す。
より大規模なモデル(アノテーションフェーズ)から得られた実演により、より小さなモデルも改善され、ICLエージェントはよりコストのかかる訓練されたエージェントと競合する可能性がある。
論文 参考訳（メタデータ） (2025-06-16T05:37:49Z) - Provoking Multi-modal Few-Shot LVLM via Exploration-Exploitation In-Context Learning [45.06983025267863]
本稿では、LVLM(Large Vision-Language Models)のICLについて検討し、マルチモーダルな実演選択のポリシーについて検討する。
マルチモーダル情報を融合し,適切な実演を総合的に適応的に選択する政策を探求する新たな探索・探索強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-11T07:38:12Z) - Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。
しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。
この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-18T15:07:06Z) - CoPS: Empowering LLM Agents with Provable Cross-Task Experience Sharing [70.25689961697523]
クロスタスク体験の共有と選択によるシーケンシャル推論を強化する一般化可能なアルゴリズムを提案する。
我々の研究は、既存のシーケンシャルな推論パラダイムのギャップを埋め、タスク間体験の活用の有効性を検証する。
論文 参考訳（メタデータ） (2024-10-22T03:59:53Z) - Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。
本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
論文 参考訳（メタデータ） (2024-08-14T12:32:41Z) - Unraveling the Mechanics of Learning-Based Demonstration Selection for In-Context Learning [43.356895599336504]
本研究では,学習に基づく実演選択手法の動作メカニズムを解析する。
類似度測定に関連する2つの重要な因子を実験的に同定した。
本稿では,タスクに依存しない要求とタスク固有の要求に対応する,効果的かつ単純化された2つの例選択手法を提案する。
論文 参考訳（メタデータ） (2024-06-14T03:34:02Z) - Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。
我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。
提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
論文 参考訳（メタデータ） (2024-05-16T17:50:19Z) - Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文 参考訳（メタデータ） (2024-01-22T16:25:27Z) - LLMs Learn Task Heuristics from Demonstrations: A Heuristic-Driven Prompting Strategy for Document-Level Event Argument Extraction [12.673710691468264]
本稿では,Huristic-Driven Link-of-Alogy (HD-LoA)を導入し,サンプル選択の課題に対処する。
人間の類推的推論にインスパイアされ,LLMが新たな状況に対処できるリンク・オブ・アナロジー・プロンプトを提案する。
実験により,本手法は文書レベルのAEデータセット上で,既存のプロンプト手法や数発の教師付き学習手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-11-11T12:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。