論文の概要: Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing
- arxiv url: http://arxiv.org/abs/2607.08497v1
- Date: Thu, 09 Jul 2026 13:55:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.554935
- Title: Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing
- Title（参考訳）: マルチモーダル理解・生成・編集のための認知構造化マルチモーダルエージェント
- Abstract要約: 最近の統一モデルでは、単一のアーキテクチャが視覚/言語理解と画像生成/編集を共同で行うことができる。
本稿では,視覚情報をエピソードな視覚記憶に外部化する認知構造型マルチモーダルエージェントを提案する。
我々の8Bエージェントは20ターンのセッションで91.4%の精度を達成し、32Bベースラインを+8.2%超し、1ターン当たりの推論時間(23.1s -> 12.7s)を半減した。
- 参考スコア（独自算出の注目度）: 17.42612947758854
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent unified multimodal models show a single architecture can jointly perform vision/language understanding and image generation/editing. However, they repeatedly feed all historical visual and textual inputs into a shared context window, limiting long-horizon multimodal dialogue due to visual token explosion and unreliable cross-turn referencing. We propose a Cognitive-structured Multimodal Agent that externalizes visual information into an Episodic Visual Memory and selectively reactivates relevant episodes during reasoning. The agent consists of a Perceptual Abstraction Engine for structured visual abstraction, a Cognitive Retrieval Engine for cross-turn memory retrieval, and a Multimodal Executive Controller for autonomous task inference and action planning. To address the lack of turn-level retrieval supervision in existing datasets, we develop a Unified Scenario Engine that programmatically generates structured multi-turn conversations with fine-grained retrieval annotations, enabling reinforcement learning to optimize abstraction and retrieval policies. We also construct a long-horizon visual-dialogue benchmark stratified by difficulty to evaluate episodic visual recall. Our 8B agent achieves 91.4% retrieval accuracy over 20-turn sessions, surpassing 32B baselines by +8.2% while nearly halving per-turn inference time (23.1s -> 12.7s). We further present the Cognitive-structured Multimodal Agent Harness (CMA-Harness), a tool-augmented deployment of the same cognitive structure integrating persistent multimodal memory, web access, image generation/editing/composition tools, and OpenAI-compatible serving. Structured memory and modular decision-making offer a more scalable, efficient paradigm for long-horizon multimodal agents than monolithic parameter scaling. Code: https://github.com/caseclose/cma-harness ; Project page: https://caseclose.github.io/cma-harness/
- Abstract（参考訳）: 最近の統合マルチモーダルモデルは、単一のアーキテクチャで視覚/言語理解と画像生成/編集を共同で行うことができることを示している。
しかし、それらはすべての歴史的視覚的およびテキスト的入力を共有コンテキストウィンドウに繰り返し供給し、視覚トークンの爆発と信頼性の低いクロスターン参照による長距離多モーダル対話を制限する。
本稿では,視覚情報をエピソードな視覚記憶に外部化し,推論中に関連エピソードを選択的に再活性化する認知構造型マルチモーダルエージェントを提案する。
エージェントは、構造化された視覚抽象のための知覚抽象エンジン、クロスターンメモリ検索のための認知検索エンジン、自律的なタスク推論とアクション計画のためのマルチモーダルエグゼクティブコントローラで構成される。
既存のデータセットにおけるターンレベルの検索監視の欠如に対処するため,構造化されたマルチターン会話を微粒な検索アノテーションでプログラム的に生成するUnified Scenario Engineを開発し,抽象化と検索ポリシーを最適化する強化学習を実現する。
また,韻律的視覚的リコールを評価するのに難渋した長軸視覚対話ベンチマークを構築した。
我々の8Bエージェントは、20ターンのセッションで91.4%の精度を達成し、32Bベースラインを+8.2%超し、1ターン当たりの推論時間(23.1s -> 12.7s)を半減した。
さらに、永続的マルチモーダルメモリ、Webアクセス、画像生成/編集/編集ツール、OpenAI互換サービスを統合した、同一認知構造のツール強化された展開であるCognitive-structured Multimodal Agent Harness (CMA-Harness)について述べる。
構造化メモリとモジュール型意思決定は、モノリシックなパラメータスケーリングよりも、長期マルチモーダルエージェントに対してよりスケーラブルで効率的なパラダイムを提供する。
コード: https://github.com/caseclose/cma-harness ; Project page: https://caseclose.github.io/cma-harness/
関連論文リスト
- WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents [53.426679066400844]
WeAgent-Harnessは、ネイティブテキストビジョンインタラクションと実行時リカバリをサポートするマルチモーダルエージェントハーネスである。
WeAgent-MMSearchは,データ構築,エージェントポストトレーニング,マルチモーダルロールアウトにまたがる統合システムである。
また、150タスクの人間認証ベンチマークであるVisTarget-Benchを紹介します。
論文 参考訳（メタデータ） (2026-08-28T08:28:43Z) - InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning [61.87294123934038]
ビデオタスクにおけるマルチモーダル理解を強化するフレームワークであるInternVideo3を提案する。
MCRは理解を、共有、進化するコンテキスト上でのクローズドループプロセスとして扱う。
InternVideo3は、Video-MME、MLVU、Egoなどのベンチマークで強力なパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2026-06-10T15:17:08Z) - Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
レポート生成のためのマルチエージェントハーネスであるPtahを提案する。
Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。
検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
論文 参考訳（メタデータ） (2026-05-28T12:40:34Z) - OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。
トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。
エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-04-20T07:50:00Z) - Towards Long-horizon Agentic Multimodal Search [109.0092257657625]
本稿では,LMM-Searcher という,ファイルベースの視覚的表現機構を中心とした新しい多モード深層検索フレームワークを提案する。
エージェントに調整されたフェッチ・イメージ・ツールを装備し、能動的知覚のためのプログレッシブでオンデマンドなビジュアル・ローディング・ストラテジーを実現する。
提案手法は,100ターンの探索地平線へのスケールアップに成功し,オープンソースモデル間の最先端性能を実現した。
論文 参考訳（メタデータ） (2026-04-14T15:40:28Z) - Improving Coherence and Persistence in Agentic AI for System Optimization [9.443037059325086]
Engramは、反復的にメカニズムを設計、テスト、分析する一連のエージェントを探索する。
本研究では,マルチクラウドマルチキャスト推論,LLM要求ルーティング,自然言語クエリを用いたデータベースにおけるKVキャッシュ再利用の最適化など,さまざまな領域において優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2026-03-22T17:04:50Z) - DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories [52.57197752244638]
本稿では,画像検索を自律探索タスクとして再構成する新しいエージェントパラダイムであるDeepImageSearchを紹介する。
モデルは、暗黙の文脈的手がかりに基づいてターゲットを特定するために、生の視覚履歴に対して多段階の推論を計画し実行しなければならない。
DisBenchは、相互接続された視覚データ上に構築された、挑戦的なベンチマークである。
論文 参考訳（メタデータ） (2026-02-11T12:51:10Z) - RAG-Anything: All-in-One RAG Framework [10.858282833070726]
RAG-Anythingは,すべてのモダリティにまたがる包括的知識検索を可能にする統一的なフレームワークである。
本手法は, 孤立データ型ではなく, 相互接続された知識エンティティとして, マルチモーダルコンテンツを再認識する。
論文 参考訳（メタデータ） (2025-10-14T09:25:35Z) - MIRe: Enhancing Multimodal Queries Representation via Fusion-Free Modality Interaction for Multimodal Retrieval [26.585985828583304]
我々は、アライメント中にテキストの特徴を融合させることなく、モダリティインタラクションを実現する検索フレームワークMIReを紹介する。
提案手法では,テキスト駆動型信号を視覚表現に戻すことなく,テキストクエリを視覚埋め込みに対応させることができる。
実験により,我々の事前学習戦略はマルチモーダルクエリの理解を著しく向上させることが示された。
論文 参考訳（メタデータ） (2024-11-13T04:32:58Z) - ChatterBox: Multi-round Multimodal Referring and Grounding [108.9673313949746]
この目的のために,新しいベンチマークと効率的な視覚言語モデルを提案する。
提案したChatterBoxは、2ブランチアーキテクチャを使って視覚と言語タスクを協調的に処理する。
実験の結果、ChatterBoxはMRGの既存のモデルよりも定量的にも質的にも優れていることがわかった。
論文 参考訳（メタデータ） (2024-01-24T09:02:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。