論文の概要: ViCor: Bridging Visual Understanding and Commonsense Reasoning with
Large Language Models
- arxiv url: http://arxiv.org/abs/2310.05872v1
- Date: Mon, 9 Oct 2023 17:10:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 22:08:33.744177
- Title: ViCor: Bridging Visual Understanding and Commonsense Reasoning with
Large Language Models
- Title(参考訳): vicor: 大きな言語モデルによる視覚理解と常識推論の橋渡し
- Authors: Kaiwen Zhou and Kwonjoon Lee and Teruhisa Misu and Xin Eric Wang
- Abstract要約: 視覚コモンセンス推論(VCR)のための事前学習型視覚言語モデル(VLM)と大規模言語モデル(LLM)の相乗的機能について検討する。
ViCor と名付けられた本手法では,事前学習した LLM が問題分類器として機能し,問題カテゴリを解析する。
2つのVCRベンチマークデータセット上でのフレームワークの評価を行い、ドメイン内教師あり微調整を必要としない他のメソッドよりも優れています。
- 参考スコア(独自算出の注目度): 30.065805195156994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In our work, we explore the synergistic capabilities of pre-trained
vision-and-language models (VLMs) and large language models (LLMs) for visual
commonsense reasoning (VCR). We categorize the problem of VCR into visual
commonsense understanding (VCU) and visual commonsense inference (VCI). For
VCU, which involves perceiving the literal visual content, pre-trained VLMs
exhibit strong cross-dataset generalization. On the other hand, in VCI, where
the goal is to infer conclusions beyond image content, VLMs face difficulties.
We find that a baseline where VLMs provide perception results (image captions)
to LLMs leads to improved performance on VCI. However, we identify a challenge
with VLMs' passive perception, which often misses crucial context information,
leading to incorrect or uncertain reasoning by LLMs. To mitigate this issue, we
suggest a collaborative approach where LLMs, when uncertain about their
reasoning, actively direct VLMs to concentrate on and gather relevant visual
elements to support potential commonsense inferences. In our method, named
ViCor, pre-trained LLMs serve as problem classifiers to analyze the problem
category, VLM commanders to leverage VLMs differently based on the problem
classification, and visual commonsense reasoners to answer the question. VLMs
will perform visual recognition and understanding. We evaluate our framework on
two VCR benchmark datasets and outperform all other methods that do not require
in-domain supervised fine-tuning.
- Abstract(参考訳): 本研究では,視覚コモンセンス推論(VCR)のための事前学習型視覚言語モデル(VLM)と大規模言語モデル(LLM)の相乗的機能について検討する。
本稿では,VCRの問題を視覚コモンセンス理解(VCU)と視覚コモンセンス推論(VCI)に分類する。
リテラル視覚コンテンツを知覚するVCUでは、事前学習されたVLMは強力なクロスデータセットの一般化を示す。
一方、VCIでは、画像コンテンツ以外の結論を推測することが目的であり、VLMは困難に直面している。
VLMがLLMに対して知覚結果(画像キャプション)を提供するベースラインが,VCIの性能向上につながることがわかった。
しかし、VLMの受動的知覚は重要な文脈情報を見逃し、LLMによる誤った、あるいは不確実な推論につながることが多い。
この問題を軽減するために, LLM は, 推論に不確実な場合には, VLM に関連要素を集中して収集するように積極的に指示する, 協調的アプローチを提案する。
ViCor という名前の手法では,事前に学習した LLM は問題カテゴリを解析するための問題分類器として機能し,VLM の指揮官は問題分類に基づいて異なるVLM を活用できる。
VLMは視覚認識と理解を行う。
2つのVCRベンチマークデータセット上でフレームワークを評価し、ドメイン内教師あり微調整を必要としない他のメソッドよりも優れている。
関連論文リスト
- Insight Over Sight? Exploring the Vision-Knowledge Conflicts in Multimodal LLMs [55.74117540987519]
本稿では,マルチモーダル大言語モデル(MLLM)におけるコモンセンスレベルの視覚知識衝突の問題について考察する。
MLLMのコンフリクトのシミュレーションと評価を目的としたベンチマークを確立するため,人間のループ品質制御を付加した自動パイプラインを導入する。
各種モデルファミリーにおける9つの代表MLLMのコンフリクト分解能を評価し,テキストクエリに顕著なオーバー信頼度を求める。
論文 参考訳(メタデータ) (2024-10-10T17:31:17Z) - Can VLMs be used on videos for action recognition? LLMs are Visual Reasoning Coordinators [0.0]
本稿では,大規模言語モデル (LLM) が,自然言語通信によって複数の視覚言語モデル (VLM) を効率的にコーディネートする方法を示す。
本研究は,同手法が行動認識のための監視ビデオに適用できるかどうかを考察する。
論文 参考訳(メタデータ) (2024-07-20T10:26:28Z) - Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs [83.24033574914425]
視覚的問題解決に関わる知覚と推論のプロセスを切り離すために設計された革新的フレームワークであるPrismを提示する。
プリズムは、VLMを利用してテキスト形式で視覚情報を抽出・調音する知覚段階と、抽出された視覚情報に基づいて応答を定式化する推論段階と、2つの異なる段階から構成される。
私たちの分析フレームワークは、視覚言語タスクのコスト効率のよいソリューションとして、Prismの可能性について、いくつかの貴重な洞察を提供する。
論文 参考訳(メタデータ) (2024-06-20T17:54:03Z) - EventLens: Leveraging Event-Aware Pretraining and Cross-modal Linking Enhances Visual Commonsense Reasoning [4.754556073011081]
ビジュアルコモンセンス推論(Visual Commonsense Reasoning、VCR)は、人間のコモンセンスを必要とする視覚的疑問に答えるために、モデルに挑戦する認知タスクである。
Event-Aware Pretraining と Cross-modal Linking と EnhanceS VCR を利用する EventLens を提案する。
論文 参考訳(メタデータ) (2024-04-22T03:05:32Z) - How Far Are We from Intelligent Visual Deductive Reasoning? [41.4377002379162]
私たちは、より洗練されているが探求の少ない領域である、視覚に基づく誘惑的推論を掘り下げる。
現在のSOTA VLMでは、未公表の盲点が発見されている。
LLMに適用した場合に有効な標準的な戦略は、視覚的推論タスクによってもたらされる課題にシームレスに対応しないことがわかった。
論文 参考訳(メタデータ) (2024-03-07T18:35:54Z) - Video Understanding with Large Language Models: A Survey [97.29126722004949]
言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。
Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。
本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
論文 参考訳(メタデータ) (2023-12-29T01:56:17Z) - Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。
QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。
我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
論文 参考訳(メタデータ) (2023-12-04T03:18:51Z) - LION : Empowering Multimodal Large Language Model with Dual-Level Visual
Knowledge [58.82222646803248]
MLLM(Multimodal Large Language Models)は、マルチモーダル信号の知覚と理解が可能なLLMを提供する。
既存のMLLMの多くは、大まかに整列された画像テキストペアで事前訓練された視覚エンコーダを採用しており、視覚知識の抽出と推論が不十分である。
本稿では,2段階の視覚的知識を注入することによってMLLMを増強する,デュアルレベルvIsual knedgeOwl eNhanced Multimodal Large Language Model (LION)を提案する。
論文 参考訳(メタデータ) (2023-11-20T15:56:44Z) - Filling the Image Information Gap for VQA: Prompting Large Language
Models to Proactively Ask Questions [15.262736501208467]
大規模言語モデル(LLM)は、驚くべき推論能力と世界知識の維持を実証する。
画像がLLMに見えないため、研究者は画像からテキストに変換してLLMを視覚的疑問推論の手順に変換する。
我々は、LLMが積極的に関連する質問をし、画像のより詳細な情報を公開できるフレームワークを設計する。
論文 参考訳(メタデータ) (2023-11-20T08:23:39Z) - Large Language Models are Visual Reasoning Coordinators [144.67558375045755]
視覚的推論のために複数の視覚言語モデルを協調する新しいパラダイムを提案する。
提案手法は,視覚的質問応答における最先端性能を実現するため,命令チューニングの変種であるCola-FTを提案する。
また,テキスト内学習の変種であるCola-Zeroは,ゼロおよび少数ショット設定で競合性能を示すことを示す。
論文 参考訳(メタデータ) (2023-10-23T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。