論文の概要: CMMCoT: Enhancing Complex Multi-Image Comprehension via Multi-Modal Chain-of-Thought and Memory Augmentation

• arxiv url: http://arxiv.org/abs/2503.05255v1
• Date: Fri, 07 Mar 2025 09:13:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:56:39.103397
• Title: CMMCoT: Enhancing Complex Multi-Image Comprehension via Multi-Modal Chain-of-Thought and Memory Augmentation
• Title（参考訳）: CMMCoT:Multi-Modal Chain-of-Thoughtとメモリ拡張による複雑なマルチイメージ理解の強化
• Authors: Guanghao Zhang, Tao Zhong, Yan Xia, Zhelun Yu, Haoyuan Li, Wanggui He, Fangxun Shu, Mushui Liu, Dong She, Yi Wang, Hao Jiang,
• Abstract要約: マルチイメージ理解のための「スロー思考」を模倣した多段階推論フレームワークを提案する。 重要な視覚領域トークンを利用したインターリーブマルチモーダル多段階推論チェーンの構築 推論中にモデル推論能力を拡張するテスト時メモリ拡張モジュールの導入。
• 参考スコア（独自算出の注目度）: 12.008690947774015
• License:
• Abstract: While previous multimodal slow-thinking methods have demonstrated remarkable success in single-image understanding scenarios, their effectiveness becomes fundamentally constrained when extended to more complex multi-image comprehension tasks. This limitation stems from their predominant reliance on text-based intermediate reasoning processes. While for human, when engaging in sophisticated multi-image analysis, they typically perform two complementary cognitive operations: (1) continuous cross-image visual comparison through region-of-interest matching, and (2) dynamic memorization of critical visual concepts throughout the reasoning chain. Motivated by these observations, we propose the Complex Multi-Modal Chain-of-Thought (CMMCoT) framework, a multi-step reasoning framework that mimics human-like "slow thinking" for multi-image understanding. Our approach incorporates two key innovations: 1. The construction of interleaved multimodal multi-step reasoning chains, which utilize critical visual region tokens, extracted from intermediate reasoning steps, as supervisory signals. This mechanism not only facilitates comprehensive cross-modal understanding but also enhances model interpretability. 2. The introduction of a test-time memory augmentation module that expands the model reasoning capacity during inference while preserving parameter efficiency. Furthermore, to facilitate research in this direction, we have curated a novel multi-image slow-thinking dataset. Extensive experiments demonstrate the effectiveness of our model.
• Abstract（参考訳）: 従来のマルチモーダルなスロー思考手法は、単一画像理解のシナリオにおいて顕著な成功を収めてきたが、より複雑なマルチモーダル理解タスクに拡張すると、その効果は根本的に制約される。 この制限は、テキストベースの中間推論プロセスに大きく依存していることに起因している。 人間の場合、洗練されたマルチイメージ分析を行う際には、(1)関心領域マッチングによる連続的なクロスイメージ視覚比較、(2)推論連鎖全体を通して重要な視覚概念を動的に記憶する2つの相補的な認知操作を行うのが一般的である。 これらの観察により,人間のような「スローシンキング」を模倣したマルチステップ推論フレームワークである複合マルチモーダル・チェーン・オブ・ソート(CMMCoT)フレームワークを提案する。 私たちのアプローチには2つの重要なイノベーションがあります。 1. 重要な視覚領域トークンを利用したインターリーブ多段階推論チェーンの構築。 このメカニズムは、包括的なクロスモーダル理解を促進するだけでなく、モデルの解釈可能性を高める。 2. パラメータ効率を保ちながら、推論中にモデル推論能力を拡張するテストタイムメモリ拡張モジュールの導入。 さらに、この方向の研究を促進するために、我々は、新しいマルチイメージのスロー思考データセットをキュレートした。 大規模な実験は、我々のモデルの有効性を実証する。

関連論文リスト

• Investigating Inference-time Scaling for Chain of Multi-modal Thought: A Preliminary Study [44.35454088618666]
  様々な領域にまたがる10の課題に対して,一般的なサンプリングベースと木探索ベースの推論時間スケーリング手法について検討した。 結果から,マルチモーダル思考は従来のテキストのみの思考よりも性能が向上することが示された。 これらの利点にもかかわらず、マルチモーダル思考はよりリッチな視覚入力を処理するためにより高いトークン消費を必要とする。
  論文  参考訳（メタデータ） (2025-02-17T07:29:01Z)
• Imagine while Reasoning in Space: Multimodal Visualization-of-Thought [70.74453180101365]
  大型言語モデル(LLM)とマルチモーダル大規模言語モデル(MLLM)の複雑な推論を強化するために、CoTプロンプト(Chain-of-Thought)が有効であることが証明された。 我々は新しい推論パラダイムであるMultimodal Visualization-of-Thought (MVoT)を提案する。 MLLMにおいて、推論トレースの画像視覚化を生成することにより、視覚的思考を可能にする。
  論文  参考訳（メタデータ） (2025-01-13T18:23:57Z)
• Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering [53.39158264785098]
  ビデオQA(Long-term Video Question Answering)は、視覚的および言語的ブリッジングの課題である。 マルチグラニュラリティ コントラスト クロスモーダル・コラボレーティブ・ジェネレーション・モデル。
  論文  参考訳（メタデータ） (2024-10-12T06:21:58Z)
• MaVEn: An Effective Multi-granularity Hybrid Visual Encoding Framework for Multimodal Large Language Model [49.931663904599205]
  MaVEnは、マルチモーダル大言語モデル(MLLM)のマルチモーダル推論能力を高めるために設計された革新的なフレームワークである。 MaVEnは複雑なマルチイメージのシナリオにおけるMLLMの理解を著しく向上するとともに,単一イメージのコンテキストにおけるパフォーマンスも向上することを示す。
  論文  参考訳（メタデータ） (2024-08-22T11:57:16Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Soft-Prompting with Graph-of-Thought for Multi-modal Representation Learning [45.517215214938844]
  チェーン・オブ・シークレット技術は、マルチモーダルタスクにおいてよく受け入れられている。 マルチモーダル表現学習におけるソフトプロンプトチューニングのためのAgoT(Aggregation-Graph-of-Thought)機構を提案する。
  論文  参考訳（メタデータ） (2024-04-06T07:39:44Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis [19.07020276666615]
  本稿では,マルチモーダル表現のためのMMCL(MultiModal Contrastive Learning)というフレームワークを提案する。 また、予測のプロセスを促進し、感情に関連するよりインタラクティブな情報を学ぶために、事例ベースと感情ベースのコントラスト学習という2つのコントラスト学習タスクを設計する。
  論文  参考訳（メタデータ） (2022-10-26T08:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。