論文の概要: A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications

• arxiv url: http://arxiv.org/abs/2608.20379v1
• Date: Sun, 28 Jun 2026 17:03:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.291057
• Title: A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications
• Title（参考訳）: マルチモーダルエージェントフレームワークの基礎とフロンティアに関する調査:技術と応用
• Abstract要約: 大型言語モデル(LLM)は機関の研究の波を加速させた。 LLMは、画像、オーディオ、ビデオを含む様々なモダリティを処理し、統合することで、現実の応用性を向上させることができる。 この調査は,エージェントフレームワークの中核機能モジュール間のマルチモーダリティの影響を分析することによって,ギャップを埋める。
• 参考スコア（独自算出の注目度）: 148.85885339822232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in large language models (LLMs) have fueled a wave of research into agency: the ability to reason, plan, and act. This effort has produced agentic frameworks that orchestrate perception, memory, and decision-making around powerful LLM backbones. With the advent of large multimodal models (LMMs), these systems can process and integrate diverse modalities, including images, audio, and video, thereby improving their real-world applicability. Yet, while surveys of LLM-based agents exist, the role of multimodality in shaping agency has not been systematically examined in recent years. This survey fills the gap by analyzing the impact of multimodality across the core functional modules of the agentic framework: perception, reasoning, planning, memory, and action. Using this lens, we trace the evolution from text-centric agents to multimodal frameworks, examine how modalities are integrated through delegated, late-fusion, and early-fusion architectures, and assess the emergence of agentic behaviors enabled by grounded perception and multimodal reasoning. We organize existing work through a modality-centric taxonomy that links architectural design choices to agent capabilities. Moreover, we review multimodal agentic systems across various application domains, including Robotics, GUI & Web Navigation, Multimedia Content Generation & Editing, and Long-form Video Understanding & Retrieval. Beyond capabilities, we analyze performance across these settings and discuss efficiency-scalability trade-offs, including training and inference costs, latency, and deployment constraints. By focusing on the impact of multimodality in agentic design, we aim to identify key gaps and chart a roadmap toward robust and general-purpose intelligent systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、エージェンシー、すなわち推論、計画、行動の能力に対する研究の波を加速させた。 この取り組みは、強力なLLMバックボーンに関する認識、記憶、意思決定をオーケストレーションするエージェントフレームワークを生み出しました。 大規模なマルチモーダルモデル(LMM)の出現により、これらのシステムは、画像、オーディオ、ビデオを含む様々なモダリティを処理および統合し、現実の応用性を向上させることができる。 しかし, LLMをベースとしたエージェントの探索は存在するものの, 整形剤におけるマルチモーダリティの役割は近年, 体系的に検討されていない。 この調査は,エージェントフレームワークの中核機能モジュールである知覚,推論,計画,記憶,行動に対するマルチモーダリティの影響を分析することによって,ギャップを埋める。 このレンズを用いて、テキスト中心のエージェントからマルチモーダルフレームワークへの進化を辿り、デリゲート、レイトフュージョン、アーリーフュージョンアーキテクチャを通してモダリティがどのように統合されているかを調べ、接地された知覚とマルチモーダル推論によって実現されるエージェントの挙動の出現を評価する。 アーキテクチャ設計の選択をエージェント能力に結びつけるモダリティ中心の分類を通じて、既存の作業を組織化します。 さらに,ロボティクス,GUI,Webナビゲーション,マルチメディアコンテンツ生成・編集,ロングフォームビデオ理解・検索など,さまざまなアプリケーション領域にわたるマルチモーダルエージェントシステムについて検討する。 機能以外にも、これらの設定のパフォーマンスを分析し、トレーニングや推論コスト、レイテンシ、デプロイメントの制約など、効率とスケーリングのトレードオフについて議論しています。 エージェント設計におけるマルチモーダルの影響に着目して、重要なギャップを特定し、堅牢で汎用的なインテリジェントシステムに向けたロードマップをチャート化することを目的としている。

関連論文リスト

• Agent-ScanKit: Unraveling Memory and Reasoning of Multimodal Agents via Sensitivity Perturbations [34.15274225730601]
  制御摂動下でのマルチモーダルエージェントの記憶と推論能力を解明するための textbfAgent-ScanKit を提案する。 その結果,機械的記憶が体系的推論より優れていることが示唆された。 本研究は,実環境におけるマルチモーダルエージェントのロバスト推論モデルの必要性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-10-01T04:29:39Z)
• From Standalone LLMs to Integrated Intelligence: A Survey of Compound Al Systems [6.284317913684068]
  複合アルシステム(CAIS)は、大規模な言語モデル(LLM)をレトリバー、エージェント、ツール、オーケストレータといった外部コンポーネントと統合する新興パラダイムである。 学術と産業の両方で採用が増加しているにもかかわらず、CAISの景観は断片化され、分析、分類、評価のための統一された枠組みが欠如している。 本調査は,次世代のシステムレベルの人工知能を理解し,開発し,推進するための総合的な基盤を研究者や実践者に提供することを目的とする。
  論文  参考訳（メタデータ） (2025-06-05T02:34:43Z)
• Multimodal Fusion and Vision-Language Models: A Survey for Robot Vision [49.073964142139495]
  マルチモーダル融合法と視覚言語モデルの適用と進歩を体系的に検討する。 セマンティックシーン理解タスクでは、エンコーダデコーダフレームワーク、アテンションベースアーキテクチャ、グラフニューラルネットワークに融合アプローチを分類する。 クロスモーダルアライメント、効率的な融合、リアルタイムデプロイメント、ドメイン適応など、現在の研究における重要な課題を特定します。
  論文  参考訳（メタデータ） (2025-04-03T10:53:07Z)
• LLMs Working in Harmony: A Survey on the Technological Aspects of Building Effective LLM-Based Multi Agent Systems [0.0]
  本研究では,LLMに基づくマルチエージェントシステムの開発に不可欠な基礎技術について検討する。 協調的で動的な環境のためにこれらのシステムをいかに最適化するかを問うため、アーキテクチャ、メモリ、計画、技術/フレームワークの4つの重要な領域に焦点を当てます。
  論文  参考訳（メタデータ） (2025-03-13T06:17:50Z)
• Beyond Self-Talk: A Communication-Centric Survey of LLM-Based Multi-Agent Systems [23.379992200838053]
  大規模言語モデルに基づくマルチエージェントシステムは、複雑で協調的でインテリジェントな問題解決能力の可能性から、最近大きな注目を集めている。 既存の調査は、通常、LLM-MASをアプリケーションドメインやアーキテクチャに従って分類し、エージェントの振る舞いや相互作用を調整する際のコミュニケーションの中心的な役割を見越す。 本レビューは,LLM-MASにおける通信機構の理解を深め,堅牢でスケーラブルでセキュアなマルチエージェントシステムの設計と展開を容易にすることを目的としている。
  論文  参考訳（メタデータ） (2025-02-20T07:18:34Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• HEMM: Holistic Evaluation of Multimodal Foundation Models [91.60364024897653]
  マルチモーダル・ファンデーション・モデルは、画像、ビデオ、オーディオ、その他の知覚モダリティと共にテキストをホリスティックに処理することができる。 モデリング決定、タスク、ドメインの範囲を考えると、マルチモーダル基盤モデルの進歩を特徴づけ、研究することは困難である。
  論文  参考訳（メタデータ） (2024-07-03T18:00:48Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。