論文の概要: Take A Step Back: Rethinking the Two Stages in Visual Reasoning

• arxiv url: http://arxiv.org/abs/2407.19666v1
• Date: Mon, 29 Jul 2024 02:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 15:16:04.591175
• Title: Take A Step Back: Rethinking the Two Stages in Visual Reasoning
• Title（参考訳）: 一歩後退して - ビジュアル推論の2つのステージを再考する
• Authors: Mingyu Zhang, Jiting Cai, Mingyu Liu, Yue Xu, Cewu Lu, Yong-Lu Li,
• Abstract要約: 本稿では2段階の視点で視覚的推論を再考する。 共有アナライザを使用しながら、異なるデータドメイン用の分離エンコーダによるシンボル化を実装する方が効率的である。 提案する2段階のフレームワークは,様々な視覚的推論タスクにおいて,印象的な一般化を実現する。
• 参考スコア（独自算出の注目度）: 57.16394309170051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual reasoning, as a prominent research area, plays a crucial role in AI by facilitating concept formation and interaction with the world. However, current works are usually carried out separately on small datasets thus lacking generalization ability. Through rigorous evaluation of diverse benchmarks, we demonstrate the shortcomings of existing ad-hoc methods in achieving cross-domain reasoning and their tendency to data bias fitting. In this paper, we revisit visual reasoning with a two-stage perspective: (1) symbolization and (2) logical reasoning given symbols or their representations. We find that the reasoning stage is better at generalization than symbolization. Thus, it is more efficient to implement symbolization via separated encoders for different data domains while using a shared reasoner. Given our findings, we establish design principles for visual reasoning frameworks following the separated symbolization and shared reasoning. The proposed two-stage framework achieves impressive generalization ability on various visual reasoning tasks, including puzzles, physical prediction, and visual question answering (VQA), encompassing both 2D and 3D modalities. We believe our insights will pave the way for generalizable visual reasoning.
• Abstract（参考訳）: 視覚的推論は、顕著な研究領域として、概念の形成と世界との相互作用を促進することによって、AIにおいて重要な役割を担っている。 しかし、現在の研究は通常、小さなデータセットで別々に行われ、一般化能力に欠ける。 多様なベンチマークの厳密な評価を通じて、クロスドメイン推論の実現における既存のアドホック手法の欠点とそのデータバイアス適合性を示す。 本稿では,(1)記号化と(2)与えられた記号やそれらの表現に対する論理的推論という2段階の視点で視覚的推論を再考する。 推論段階は記号化よりも一般化が優れていることが分かる。 したがって、共有推論を用いて、異なるデータドメインに対する分離エンコーダによるシンボル化を実装する方が効率的である。 そこで我々は,視覚的推論フレームワークの設計原則を,分離されたシンボル化と共有推論に従って確立した。 提案する2段階のフレームワークは,パズル,物理予測,視覚的質問応答(VQA)などの視覚的推論タスクにおいて,2次元と3次元の両方のモダリティを含む印象的な一般化能力を実現する。 私たちは私たちの洞察が、一般化可能な視覚的推論の道を開くと信じています。

関連論文リスト

• Symbol-LLM: Leverage Language Models for Symbolic System in Visual Human Activity Reasoning [58.5857133154749]
  本稿では,広い範囲のシンボルと合理的なルールを持つ新しい記号体系を提案する。 我々は,LLMの最近の進歩を2つの理想的な性質の近似として活用する。 本手法は,広範囲な活動理解タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-11-29T05:27:14Z)
• Towards A Unified Neural Architecture for Visual Recognition and Reasoning [40.938279131241764]
  視覚認識と推論のための統一型ニューラルアーキテクチャを提案し,両者の汎用インターフェース(トークンなど)を提案する。 我々のフレームワークは、視覚的認識タスク、データセット、帰納的バイアスが、原則化された時間的推論機能を実現するのにどのように役立つかを調べることができる。
  論文  参考訳（メタデータ） (2023-11-10T20:27:43Z)
• Learning Concept-Based Causal Transition and Symbolic Reasoning for Visual Planning [36.131648635051334]
  ビジュアルプランニングは、人間が望ましい目標を達成するために意思決定する方法をシミュレートする。 本稿では,解釈可能で汎用的な視覚計画フレームワークを提案する。 我々のフレームワークは、未確認のタスクトラジェクトリ、未確認のオブジェクトカテゴリ、実世界のデータに一般化できることを示します。
  論文  参考訳（メタデータ） (2023-10-05T05:41:21Z)
• Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker [72.09076317574238]
  ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
  論文  参考訳（メタデータ） (2023-06-01T17:24:35Z)
• Towards Unsupervised Visual Reasoning: Do Off-The-Shelf Features Know How to Reason? [30.16956370267339]
  視覚質問応答のタスクに対する視覚的表現を評価するためのプロトコルを提案する。 視覚的特徴抽出を推論から分離するために,特定の注意に基づく推論モジュールを設計する。 局所的な特徴を密に抽出した2種類の視覚表現とオブジェクト中心の視覚表現を、基底真理を用いた完全な画像表現の性能と比較する。
  論文  参考訳（メタデータ） (2022-12-20T14:36:45Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• PTR: A Benchmark for Part-based Conceptual, Relational, and Physical Reasoning [135.2892665079159]
  PTRと呼ばれる大規模診断用視覚推論データセットを新たに導入する。 PTRは70kのRGBD合成画像と地上の真実のオブジェクトと部分レベルのアノテーションを含んでいる。 このデータセット上で、いくつかの最先端の視覚的推論モデルを調べ、それらがまだ多くの驚くべき誤りを犯していることを観察する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:34Z)
• Interpretable Neural Computation for Real-World Compositional Visual Question Answering [4.3668650778541895]
  実世界の合成VQAのための解釈可能なフレームワークを構築した。 このフレームワークでは,画像や質問をシーングラフやプログラムに切り離し,その上でシンボルプログラムが実行され,注意領域を選択するための完全な透過性がある。 GQAベンチマークで行った実験により,本フレームワークはモノリシックなモノリシックなモノリシックなモノリシックなモノリシックなプリエントアーツと競争の精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-10-10T05:46:22Z)
• Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning" [49.76230210108583]
  本稿では,視覚的質問応答(VQA)の推論的側面をその知覚から分離し,評価する枠組みを提案する。 また,不完全な知覚においても,モデルが推論問題に答えられるような,新しいトップダウンキャリブレーション手法を提案する。 難易度の高いGQAデータセットでは、このフレームワークがよく知られたVQAモデル間の深い非絡み合いの比較に使用される。
  論文  参考訳（メタデータ） (2020-06-20T08:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。