論文の概要: Causal-CoG: A Causal-Effect Look at Context Generation for Boosting Multi-modal Language Models

• arxiv url: http://arxiv.org/abs/2312.06685v1
• Date: Sat, 9 Dec 2023 08:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-13 18:58:09.672350
• Title: Causal-CoG: A Causal-Effect Look at Context Generation for Boosting Multi-modal Language Models
• Title（参考訳）: Causal-CoG:マルチモーダル言語モデルの強化のためのコンテキスト生成の因果効果
• Authors: Shitian Zhao, Zhuowan Li, Yadong Lu, Alan Yuille, Yan Wang
• Abstract要約: Causal Context Generation, Causal-CoGは、推論中に正確なVQAを強化するためにコンテキスト情報を扱うプロンプト戦略である。 10のマルチモーダルベンチマークで広範な実験を行い、一貫した改善を示した。 私たちはCasual-CoGがマルチモーダルモデルにおける文脈知識の探索を刺激し、デコードのためのプラグアンドプレイ戦略として機能することを願っている。
• 参考スコア（独自算出の注目度）: 10.429515738164342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Multi-modal Language Models (MLMs) demonstrate impressive multimodal ability, they still struggle on providing factual and precise responses for tasks like visual question answering (VQA). In this paper, we address this challenge from the perspective of contextual information. We propose Causal Context Generation, Causal-CoG, which is a prompting strategy that engages contextual information to enhance precise VQA during inference. Specifically, we prompt MLMs to generate contexts, i.e, text description of an image, and engage the generated contexts for question answering. Moreover, we investigate the advantage of contexts on VQA from a causality perspective, introducing causality filtering to select samples for which contextual information is helpful. To show the effectiveness of Causal-CoG, we run extensive experiments on 10 multimodal benchmarks and show consistent improvements, e.g., +6.30% on POPE, +13.69% on Vizwiz and +6.43% on VQAv2 compared to direct decoding, surpassing existing methods. We hope Casual-CoG inspires explorations of context knowledge in multimodal models, and serves as a plug-and-play strategy for MLM decoding.
• Abstract（参考訳）: マルチモーダル言語モデル(MLM)は印象的なマルチモーダル能力を示しているが、視覚的質問応答(VQA)のようなタスクに対して、現実的で正確な応答を提供することに苦慮している。 本稿では,文脈情報の観点から,この問題に対処する。 提案するCausal Context Generation, Causal-CoGは, 推論中に正確なVQAを高めるために, 文脈情報に係わるプロンプト戦略である。 具体的には、mlmsに画像のテキスト記述などのコンテキストを生成し、生成されたコンテキストに質問応答を関連付けるように促します。 さらに、因果性の観点からVQA上のコンテキストの利点を考察し、文脈情報が有用なサンプルを選択するために因果性フィルタリングを導入する。 Causal-CoGの有効性を示すため、10個のマルチモーダルベンチマークで広範な実験を行い、POPEでは+6.30%、Vizwizでは+13.69%、VQAv2では+6.43%といった一貫した改善を示した。 カジュアルコグはマルチモーダルモデルにおける文脈知識の探求を刺激し、mlmデコーディングのプラグ・アンド・プレイ戦略として役立つことを願っている。

関連論文リスト

• Do Images Speak Louder than Words? Investigating the Effect of Textual Misinformation in VLMs [17.56537230934894]
  Vision-Language Models (VLM)は、Visual-Question-Answering (VQA)ベンチマークで強力なマルチモーダル推論能力を示している。 これらのモデルが、誤解を招くテキストのプロンプトに対して脆弱であることを示し、しばしば矛盾するテキストを支持する明確な視覚的証拠をオーバーライドしている。
  論文  参考訳（メタデータ） (2026-01-27T05:04:38Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• MAVIS: A Benchmark for Multimodal Source Attribution in Long-form Visual Question Answering [44.41273615523289]
  マルチモーダルソース属性システムを評価するための最初のベンチマークであるMAVISを紹介する。 我々のデータセットは157Kの視覚的QAインスタンスで構成されており、各回答にはマルチモーダル文書を参照したファクトレベルの引用が注釈付けされている。 本研究では,情報性,接地性,流感の3次元に沿って細粒度自動測定値を作成し,人間の判断と強い相関関係を示す。
  論文  参考訳（メタデータ） (2025-11-15T10:14:59Z)
• QG-CoC: Question-Guided Chain-of-Captions for Large Multimodal Models [50.51641024244313]
  本稿では,複数の画像を扱う場合の視覚的情報処理について検討する。 そこで本研究では,新たなゼロショットプロンプト手法であるQG-CoC(QG-CoC)を提案する。 マルチイメージおよびシングルイメージベンチマークのための各種オープンソースおよびクローズドソースMLLMについて評価を行った。
  論文  参考訳（メタデータ） (2025-11-05T05:49:48Z)
• A Video Is Not Worth a Thousand Words [9.163456072777679]
  複数選択のビデオ質問応答データセットの視覚言語モデルを評価する。 ビデオフレームと全テキスト要素を階層構造における同等の特徴とみなす。 この結果から,複数選択のVQAタスクはモデルが障害を無視する能力に発展することが示された。
  論文  参考訳（メタデータ） (2025-10-27T12:15:02Z)
• Rethinking the Text-Vision Reasoning Imbalance in MLLMs through the Lens of Training Recipes [54.374410871041164]
  MLLM(Multimodal large language model)は、視覚・言語タスクにおいて強力な機能を示す。 近年の研究では、視覚的・テキスト的モダリティ間の推論能力の不均衡が指摘されている。 我々は、この現象を、テキスト中心と視覚中心の入力のパフォーマンス格差として定義される、テクティモダリティギャップと呼ぶ。
  論文  参考訳（メタデータ） (2025-10-26T21:06:13Z)
• MPCAR: Multi-Perspective Contextual Augmentation for Enhanced Visual Reasoning in Large Vision-Language Models [7.702194892874595]
  Multi-Perspective Contextual Augmentation for Reasoning (MPCAR)は、LVLM(Large Vision-Language Models)を強化するために設計された新しい推論時間戦略である。 第一に、LVLMは様々な角度から N の多様で相補的な記述や予備的推論経路を生成し、第二に、これらの記述は、元の質問とインテリジェントに統合され、包括的な文脈拡張プロンプトを構築し、最後に、このリッチ化されたプロンプトは、深い推論と最終回答生成のために究極の LVLM を導く。
  論文  参考訳（メタデータ） (2025-08-17T15:25:01Z)
• Analyze-Prompt-Reason: A Collaborative Agent-Based Framework for Multi-Image Vision-Language Reasoning [3.588567067449924]
  マルチイメージ推論のための協調エージェントベースフレームワークを提案する。 提案手法は,多様なデータセットやタスク形式にまたがるマルチモーダル推論のインターリーブ化という課題に対処する。 我々は2025年のMIRAGE Challengeから18種類の多様なデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2025-08-01T06:39:15Z)
• Re-ranking Reasoning Context with Tree Search Makes Large Vision-Language Models Stronger [51.01841635655944]
  大規模視覚言語モデル(LVLM)の最近の進歩は、視覚質問応答(VQA)タスクのパフォーマンスを著しく改善している。 既存の手法は、推論例による知識の不足や、抽出された知識からの不規則な応答など、依然として課題に直面している。 我々は、Reasoning Context-enriched knowledge baseとTree Search re-level methodを構築し、LVLMを強化したRCTSと呼ばれるマルチモーダルRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-09T14:00:57Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Benchmarking Retrieval-Augmented Generation in Multi-Modal Contexts [56.7225771305861]
  本稿では,マルチモーダル大規模言語モデルの有効性を評価するためのベンチマークであるMulti-Modal Retrieval-Augmented Generation (M$2$RAG)を紹介する。 このベンチマークは、イメージキャプション、マルチモーダル質問応答、マルチモーダル事実検証、イメージリランクの4つのタスクで構成されている。 MLLMのコンテキスト利用能力を高めるため,マルチモーダル検索型インストラクションチューニング(MM-RAIT)も導入する。
  論文  参考訳（メタデータ） (2025-02-24T16:25:25Z)
• Open-Ended and Knowledge-Intensive Video Question Answering [20.256081440725353]
  知識集約型ビデオ質問応答 (KI-VideoQA) を多モード検索拡張世代のレンズを用いて検討する。 本稿では,最先端の検索モデルと視覚言語モデルを用いて,様々な検索拡張手法について検討する。 我々は、KnowIT VQAデータセットにおいて、複数の選択質問に対する精度を17.5%向上させる。
  論文  参考訳（メタデータ） (2025-02-17T12:40:35Z)
• E2LVLM:Evidence-Enhanced Large Vision-Language Model for Multimodal Out-of-Context Misinformation Detection [7.1939657372410375]
  E2LVLM(E2LVLM)は、2つのレベルにテキスト証拠を適応させることにより、新たなエビデンスを強化した大規模視覚言語モデルである。 判断と説明の両方でニュース領域データセットの不足に対処するため、我々は新しいOOCマルチモーダル命令追従データセットを生成する。 多数の実験により、E2LVLMは最先端の手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-12T04:25:14Z)
• VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
  本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。 視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:24:55Z)
• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• Multimodal Causal Reasoning Benchmark: Challenging Vision Large Language Models to Infer Causal Links Between Siamese Images [19.923665989164387]
  我々は,Multimodal Causal Reasoningベンチマーク,すなわち MuCR を提案し,大規模言語モデルに挑戦する。 具体的には,セマンティック因果関係と視覚的手がかりを組み込んだシアム画像を作成するための,プロンプト駆動画像合成手法を提案する。 我々の広範な実験により、現在最先端のVLLMは、我々が期待したようなマルチモーダル因果推論に熟練していないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-15T12:04:32Z)
• Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective [9.633811630889237]
  本稿では,視覚質問応答(VQA)問題におけるバイアスを解釈するための因果的枠組みを提案する。 マルチホップ推論を必要とする12,000の挑戦VQAインスタンスを備えた新しいデータセットを導入する。 実験の結果, MLLMはMOREに悪影響を及ぼし, 強い一方向偏差と限定的な意味理解を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-27T08:38:49Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• Towards Top-Down Reasoning: An Explainable Multi-Agent Approach for Visual Question Answering [45.88079503965459]
  本稿では,視覚言語モデル(VLM)の能力を高めるために,LLM(Large Language Models)の拡張的知識を活用することで,新しいマルチエージェントコラボレーションフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-11-29T03:10:42Z)
• Large Language Models are Visual Reasoning Coordinators [144.67558375045755]
  視覚的推論のために複数の視覚言語モデルを協調する新しいパラダイムを提案する。 提案手法は,視覚的質問応答における最先端性能を実現するため,命令チューニングの変種であるCola-FTを提案する。 また,テキスト内学習の変種であるCola-Zeroは,ゼロおよび少数ショット設定で競合性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-23T17:59:31Z)
• Large Language Models and Multimodal Retrieval for Visual Word Sense Disambiguation [1.8591405259852054]
  Visual Word Sense Disambiguation (VWSD)は、候補者の中から画像を取得することを目的とした、新しい課題である。 本稿では、様々なアプローチを適用することで、この興味深い課題を明らかにするための大きな一歩を踏み出す。
  論文  参考訳（メタデータ） (2023-10-21T14:35:42Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
  既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。 内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:57Z)
• A Multi-Modal Context Reasoning Approach for Conditional Inference on Joint Textual and Visual Clues [23.743431157431893]
  共同文と視覚的手がかりの条件推論は多モーダル推論タスクである。 我々はModCRというマルチモーダルコンテキスト推論手法を提案する。 2つの対応するデータセットに対して広範囲な実験を行い、実験結果により性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-05-08T08:05:40Z)
• Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
  言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。 その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-02-02T07:51:19Z)
• Video Understanding as Machine Translation [53.59298393079866]
  我々は、単一の統合フレームワークを用いて、様々なダウンストリームビデオ理解タスクに取り組む。 映像分類(EPIC-Kitchens)、質問応答(TVQA)、キャプション(TVC, YouCook2, MSR-VTT)など、いくつかのダウンストリームタスクにおいて、現状よりもパフォーマンスの向上が報告されている。
  論文  参考訳（メタデータ） (2020-06-12T14:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。