論文の概要: ActICL: Post-Training for Agentic Multimodal In-Context Learning

• arxiv url: http://arxiv.org/abs/2610.19475v1
• Date: Wed, 14 Oct 2026 02:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.445073
• Title: ActICL: Post-Training for Agentic Multimodal In-Context Learning
• Title（参考訳）: ActICL:エージェント型マルチモーダルインコンテキスト学習のためのポストトレーニング
• Abstract要約: 本稿では,MLLMエージェントにツール拡張推論によるICLコンテキストの取得と使用を訓練するActICLを紹介する。 ActICLは、適応的なデモ数によって、標準的な類似性に基づく検索よりも平均性能を11.6ポイント向上させる。
• 参考スコア（独自算出の注目度）: 49.52307298219017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal in-context learning (ICL) is an important capability of multimodal large language models (MLLMs). Its performance is closely tied to the demonstrations it uses, making demonstration retrieval a core problem for ICL. Common methods use fixed scoring methods to retrieve all the demonstrations at once, which may introduce redundancy and noise. Context-aware retrieval methods have emerged to address this problem by allowing incremental retrieval from a growing context. However, none of them lets the MLLM learn how to judge what new demonstrations it needs and then carry out progressive retrieval on its own. To this end, we introduce ActICL, which trains an MLLM agent to acquire and use an ICL context via tool-augmented reasoning. An ActICL agent analyzes its own information gaps during iterative reasoning and tool-use actions. Based on these gaps, it performs targeted retrieval to acquire a set of initial candidates. It can then use the existing context to further filter the candidates and refine the context, or it can iteratively perform a new retrieval. When the agent judges that the context is sufficient for the task, or when the resource limit is reached with the user request met, it sends the acquired context to an answering model, either the agent itself or another MLLM. We use a two-stage post-training procedure that jointly optimizes the agent's acquisition and answering. With an adaptive number of demonstrations, ActICL improves average performance by 11.6 percentage points over standard similarity-based retrieval across seven benchmarks and three MLLMs, and by 4.4 points compared to the strongest prior baseline. The contexts acquired by ActICL agents can also be used effectively by frontier models. When GPT-5.6-Sol performs 4-shot ICL, ActICL's contexts improve its performance by 3.5 points over standard retrieval, averaged over three benchmarks.
• Abstract（参考訳）: マルチモーダル・イン・コンテキスト・ラーニング(ICL)は、マルチモーダル・大規模言語モデル(MLLM)の重要な機能である。 その性能は、使用するデモと密接に結びついており、デモ検索がICLの中核的な問題となっている。 一般的な手法では、固定スコアリング手法を使ってすべてのデモを一度に回収し、冗長性とノイズをもたらす可能性がある。 成長するコンテキストからの漸進的な検索を可能にすることによって,この問題に対処するコンテキスト認識検索手法が登場した。 しかし、いずれもMLLMが必要な新しいデモを判断する方法を学ばず、独自のプログレッシブ検索を実行している。 そこで我々は,MLLMエージェントにツール拡張推論によるICLコンテキストの取得と利用を訓練するActICLを紹介する。 ActICLエージェントは、反復的推論およびツール使用動作中に、自身の情報ギャップを分析する。 これらのギャップに基づいて、ターゲット検索を行い、初期候補の集合を取得する。 既存のコンテキストを使用して、候補をさらにフィルタリングし、コンテキストを洗練するか、あるいは新たな検索を反復的に実行することができる。 エージェントがタスクに対してコンテキストが十分であると判断したり、あるいはユーザ要求が満たされたときにリソース制限に達すると、取得したコンテキストをエージェント自身または他のMLLMのいずれかの応答モデルに送信する。 エージェントの獲得と回答を協調的に最適化する2段階のポストトレーニング手順を用いる。 適応的な数のデモにより、ActICLは7つのベンチマークと3つのMLLMにまたがる標準的な類似性に基づく検索よりも平均性能を11.6ポイント改善し、最強のベースラインに比べて4.4ポイント向上した。 ActICLエージェントが取得したコンテキストはフロンティアモデルでも効果的に利用できる。 GPT-5.6-Sol が4ショット ICL を実行すると、ActICL のコンテキストは標準検索よりも3.5ポイント向上し、3つのベンチマークで平均された。

関連論文リスト

• ContextNav: Towards Agentic Multimodal In-Context Learning [85.05420047017513]
  ContextNavは、自動検索のスケーラビリティと人間のようなキュレーションの品質と適応性を統合するエージェントフレームワークである。 リソースを意識したマルチモーダル埋め込みパイプラインを構築し、検索可能なベクトルデータベースを維持し、エージェント検索と構造アライメントを適用して、ノイズ耐性のあるコンテキストを構築する。 実験の結果、ContextNavはさまざまなデータセットで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-06T07:49:52Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• Eliciting In-context Retrieval and Reasoning for Long-context Large Language Models [27.217391392240113]
  長文言語モデル(LCLM)は知識ベース全体を処理し、直接検索と推論を行うことができる。 LOFTのような既存のベンチマークは、過度に単純化されたコンテキストを提供することでLCLMのパフォーマンスを過大評価することが多い。 ICR2はLCLMをより現実的なシナリオで評価するベンチマークである。 次に, LCLMの性能向上のための3つの手法を提案する。(1) 検索-then-generate fine-tuning, (2) 注意頭を用いてデコード中の長いコンテキストをフィルタリング・復調する検索-attention-probing, (3) 生成ヘッドと併用した共同検索ヘッドトレーニング。
  論文  参考訳（メタデータ） (2025-01-14T16:38:33Z)
• ICLERB: In-Context Learning Embedding and Reranker Benchmark [45.40331863265474]
  In-Context Learning (ICL)により、大規模言語モデルでは、関連する情報でプロンプトを条件付けすることで、新しいタスクを実行できる。 従来の検索手法は意味的関連性を重視し,検索を探索問題として扱う。 ICLタスクの効用を最大化する文書を選択することを目的としたレコメンデーション問題として、ICLのリフレーミング検索を提案する。
  論文  参考訳（メタデータ） (2024-11-28T06:28:45Z)
• On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
  本稿では,マルチショットICLによる長文言語モデルの評価について検討する。 ICLタスクを共通サンプル学習(SSL)と全サンプル学習(ASL)の2つのグループに分類するメトリクスを開発する。 最先端のモデルではSSLタスクで64kトークンまでパフォーマンスが向上するが、ASLタスクで16kトークンしかなかったため、多くのモデルは大幅なパフォーマンス低下を経験している。
  論文  参考訳（メタデータ） (2024-11-11T17:00:59Z)
• MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
  本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。 まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。 我々のモデルMM-Embedはマルチモーダル検索ベンチマークM-BEIR上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-04T20:06:34Z)
• Towards Multimodal In-Context Learning for Vision & Language Models [21.69457980865084]
  VLM(State-of-the-the-art Vision-Language Models)は、ビジョンと言語のモダリティを基盤としている。 本稿では, 効果的なデータ混合を用いた, 単純かつ驚くほど効果的なマルチターンカリキュラムベースの学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T13:53:37Z)
• Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks [54.153914606302486]
  大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。 我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-03T14:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。