論文の概要: Selective Vision is the Challenge for Visual Reasoning: A Benchmark for Visual Argument Understanding

• arxiv url: http://arxiv.org/abs/2406.18925v2
• Date: Mon, 30 Sep 2024 09:30:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:01:28.255057
• Title: Selective Vision is the Challenge for Visual Reasoning: A Benchmark for Visual Argument Understanding
• Title（参考訳）: Selective Visionはビジュアル推論の課題:ビジュアル引数理解のためのベンチマーク
• Authors: Jiwan Chung, Sungjae Lee, Minseo Kim, Seungju Han, Ashkan Yousefpour, Jack Hessel, Youngjae Yu,
• Abstract要約: 視覚的前提を付加した1,611枚の画像のデータセットであるVisArgsを提示する。 本稿では,視覚的議論の理解を評価するための3つのタスクを提案する。
• 参考スコア（独自算出の注目度）: 30.37049638100344
• License:
• Abstract: Visual arguments, often used in advertising or social causes, rely on images to persuade viewers to do or believe something. Understanding these arguments requires selective vision: only specific visual stimuli within an image are relevant to the argument, and relevance can only be understood within the context of a broader argumentative structure. While visual arguments are readily appreciated by human audiences, we ask: are today's AI capable of similar understanding? We present VisArgs, a dataset of 1,611 images annotated with 5,112 visual premises (with regions), 5,574 commonsense premises, and reasoning trees connecting them into structured arguments. We propose three tasks for evaluating visual argument understanding: premise localization, premise identification, and conclusion deduction. Experiments show that 1) machines struggle to capture visual cues: GPT-4-O achieved 78.5% accuracy, while humans reached 98.0%. Models also performed 19.5% worse when distinguishing between irrelevant objects within the image compared to external objects. 2) Providing relevant visual premises improved model performance significantly.
• Abstract（参考訳）: 視覚的な議論は、しばしば広告や社会的大義で使用され、視聴者に何かをしたり信じるよう説得するために画像に依存している。 画像内の特定の視覚刺激だけが議論に関連するものであり、関連性はより広い議論的構造の文脈内でのみ理解できる。 視覚的な議論は、人間の聴衆によって容易に理解されますが、私たちは次のように尋ねます。 提案するVisArgsは,5,112の視覚的前提,574の常識的前提,およびそれらを構造化された引数に接続する推論木をアノテートした1,611のイメージのデータセットである。 本稿では,視覚的議論の理解を評価するための3つのタスクを提案する。 実験では GPT-4-Oは78.5%の精度で、人間は98.0%に達した。 また、画像内の無関係なオブジェクトと外部オブジェクトとを区別する場合、モデルは19.5%悪化した。 2) 関連的な視覚的前提を提供することで, モデルの性能が大幅に向上した。

関連論文リスト

• WinoViz: Probing Visual Properties of Objects Under Different States [39.92628807477848]
  本稿では,異なる文脈や状態下でのオブジェクトの異種視覚特性に関する言語モデルの推論能力を探索する,1,380の例からなるテキストのみの評価データセットを提案する。 我々の課題は、現実的な推論(意図した意味を表現)と視覚的知識推論を必要とするため、難しい。 また、タスクを解決するには、複数のステップの推論チェーンを必要とする、より難しいバージョンのマルチホップデータも提示します。
  論文  参考訳（メタデータ） (2024-02-21T07:31:47Z)
• ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models [92.60282074937305]
  テキストリッチな画像に対して文脈に敏感な推論を必要とする人為的な命令を特徴とする新しいデータセットであるConTextualを紹介した。 そこで本研究では,14の基盤モデルの性能評価実験を行い,人為的な性能基準を確立する。 GPT-4Vとヒトのパフォーマンスの30.8%の有意な性能差を観察した。
  論文  参考訳（メタデータ） (2024-01-24T09:07:11Z)
• Towards A Unified Neural Architecture for Visual Recognition and Reasoning [40.938279131241764]
  視覚認識と推論のための統一型ニューラルアーキテクチャを提案し,両者の汎用インターフェース(トークンなど)を提案する。 我々のフレームワークは、視覚的認識タスク、データセット、帰納的バイアスが、原則化された時間的推論機能を実現するのにどのように役立つかを調べることができる。
  論文  参考訳（メタデータ） (2023-11-10T20:27:43Z)
• HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models [69.52245481329899]
  本稿では,画像コンテキスト推論評価のためのベンチマークであるHalusionBenchを紹介する。 このベンチマークは、1129の質問と組み合わせた346の画像で構成されており、すべて人間の専門家によって細心の注意を払って作成されている。 HallusionBenchの評価では、15種類のモデルをベンチマークし、最先端のGPT-4Vによって達成された31.42%の質問対精度を強調した。
  論文  参考訳（メタデータ） (2023-10-23T04:49:09Z)
• See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning [60.43585179885355]
  本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。 IPVRには3つのステージがある。 我々は,知識に基づく視覚的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-01-12T18:59:50Z)
• Towards Unsupervised Visual Reasoning: Do Off-The-Shelf Features Know How to Reason? [30.16956370267339]
  視覚質問応答のタスクに対する視覚的表現を評価するためのプロトコルを提案する。 視覚的特徴抽出を推論から分離するために,特定の注意に基づく推論モジュールを設計する。 局所的な特徴を密に抽出した2種類の視覚表現とオブジェクト中心の視覚表現を、基底真理を用いた完全な画像表現の性能と比較する。
  論文  参考訳（メタデータ） (2022-12-20T14:36:45Z)
• PTR: A Benchmark for Part-based Conceptual, Relational, and Physical Reasoning [135.2892665079159]
  PTRと呼ばれる大規模診断用視覚推論データセットを新たに導入する。 PTRは70kのRGBD合成画像と地上の真実のオブジェクトと部分レベルのアノテーションを含んでいる。 このデータセット上で、いくつかの最先端の視覚的推論モデルを調べ、それらがまだ多くの驚くべき誤りを犯していることを観察する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:34Z)
• A Picture May Be Worth a Hundred Words for Visual Question Answering [26.83504716672634]
  画像理解においては、簡潔だが詳細な画像表現を用いることが不可欠である。 より高速なR-CNNのような視覚モデルによって抽出された深い視覚的特徴は、複数のタスクで広く使われている。 本稿では、深い視覚的特徴の代わりに記述-探索ペアを入力とし、言語のみのトランスフォーマーモデルに入力する。
  論文  参考訳（メタデータ） (2021-06-25T06:13:14Z)
• Aspect-Controlled Neural Argument Generation [65.91772010586605]
  我々は、与えられたトピック、スタンス、アスペクトの文レベル引数を生成するために、きめ細かいレベルで制御できる引数生成のための言語モデルを訓練する。 評価の結果,我々の生成モデルは高品質なアスペクト特異的な議論を生成できることがわかった。 これらの議論は、データ拡張による姿勢検出モデルの性能向上と、逆問題の生成に使用できる。
  論文  参考訳（メタデータ） (2020-04-30T20:17:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。