論文の概要: Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning"

• arxiv url: http://arxiv.org/abs/2006.11524v3
• Date: Tue, 25 Aug 2020 23:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 21:54:36.955508
• Title: Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning"
• Title（参考訳）: ニューロシンボリックな視覚推論:「推論」から「視覚」を遠ざける
• Authors: Saeed Amizadeh, Hamid Palangi, Oleksandr Polozov, Yichen Huang, Kazuhito Koishida
• Abstract要約: 本稿では,視覚的質問応答(VQA)の推論的側面をその知覚から分離し,評価する枠組みを提案する。 また,不完全な知覚においても,モデルが推論問題に答えられるような,新しいトップダウンキャリブレーション手法を提案する。 難易度の高いGQAデータセットでは、このフレームワークがよく知られたVQAモデル間の深い非絡み合いの比較に使用される。
• 参考スコア（独自算出の注目度）: 49.76230210108583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual reasoning tasks such as visual question answering (VQA) require an interplay of visual perception with reasoning about the question semantics grounded in perception. However, recent advances in this area are still primarily driven by perception improvements (e.g. scene graph generation) rather than reasoning. Neuro-symbolic models such as Neural Module Networks bring the benefits of compositional reasoning to VQA, but they are still entangled with visual representation learning, and thus neural reasoning is hard to improve and assess on its own. To address this, we propose (1) a framework to isolate and evaluate the reasoning aspect of VQA separately from its perception, and (2) a novel top-down calibration technique that allows the model to answer reasoning questions even with imperfect perception. To this end, we introduce a differentiable first-order logic formalism for VQA that explicitly decouples question answering from visual perception. On the challenging GQA dataset, this framework is used to perform in-depth, disentangled comparisons between well-known VQA models leading to informative insights regarding the participating models as well as the task.
• Abstract（参考訳）: 視覚的質問応答(VQA)のような視覚的推論タスクは、知覚に根ざした質問の意味についての推論を伴う視覚的知覚の相互作用を必要とする。 しかし、この領域の最近の進歩は、推論よりも認識の改善(例えば、シーングラフ生成)によってもたらされている。 ニューラル・モジュール・ネットワークのようなニューラル・シンボリック・モデルは、構成的推論の利点をVQAにもたらすが、それらはまだ視覚的表現学習と絡み合っており、それゆえ、神経的推論を改善・評価することは困難である。 そこで本研究では,(1)VQAの推論的側面をその知覚から分離し,評価する枠組みを提案し,(2)不完全な知覚を伴ってもモデルが推論的疑問に答えられるような,新しいトップダウンキャリブレーション手法を提案する。 この目的のために,視覚的知覚から解答を明示的に分離する,VQAのための微分可能な一階論理形式を導入する。 挑戦的なGQAデータセットでは、このフレームワークは、よく知られたVQAモデルとタスクに関する情報的な洞察を導くために、奥深く、絡み合った比較を行うために使用される。

関連論文リスト

• Interpretable Visual Question Answering via Reasoning Supervision [4.76359068115052]
  トランスフォーマーベースのアーキテクチャは、最近Visual Question Answering (VQA)タスクで顕著なパフォーマンスを示している。 本稿では,視覚的質問応答のための新しいアーキテクチャを提案する。 提案手法がモデルの視覚知覚能力を向上し,性能向上につながることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2023-09-07T14:12:31Z)
• Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
  本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。 我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
  論文  参考訳（メタデータ） (2023-05-24T08:33:15Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Coarse-to-Fine Reasoning for Visual Question Answering [18.535633096397397]
  視覚質問応答(VQA)タスクにおいて,視覚的特徴と意味的手がかりのギャップを埋める新たな推論フレームワークを提案する。 提案手法は,まず特徴を抽出し,画像と質問から述語を抽出する。 次に、これらの特徴を効果的に学習し、粗大な方法で述語する新しい推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-06T06:29:52Z)
• Understanding the computational demands underlying visual reasoning [10.308647202215708]
  我々は,現代の深層畳み込みニューラルネットワークによる視覚的推論問題の解法を体系的に評価する。 我々の分析は、視覚的推論タスクの新たな分類につながり、主に、その基礎となるルールを構成するために使用される関係の種類と関係の数によって説明できる。
  論文  参考訳（メタデータ） (2021-08-08T10:46:53Z)
• Object-Centric Diagnosis of Visual Reasoning [118.36750454795428]
  本稿では,地平とロバスト性に基づく視覚的推論の体系的対象中心の診断について述べる。 我々は,グラフ推論機械という診断モデルを開発した。 本モデルは、純粋に象徴的な視覚的表現を確率的シーングラフに置き換え、教師の強制訓練をビジュアル推論モジュールに適用する。
  論文  参考訳（メタデータ） (2020-12-21T18:59:28Z)
• Loss re-scaling VQA: Revisiting the LanguagePrior Problem from a Class-imbalance View [129.392671317356]
  本稿では,クラス不均衡の観点から,VQAにおける言語先行問題を理解することを提案する。 これは、なぜVQAモデルが頻繁に、そして明らかに間違った答えをもたらすのかを明確に示している。 また,顔認識や画像分類などの他のコンピュータビジョンタスクに対して,クラス不均衡解釈方式の有効性を正当化する。
  論文  参考訳（メタデータ） (2020-10-30T00:57:17Z)
• Cross-modal Knowledge Reasoning for Knowledge-based Visual Question Answering [27.042604046441426]
  KVQA(Knowledge-based Visual Question Answering)は、画像に関する質問に答えるために、可視コンテンツ以外の外部知識を必要とする。 本稿では,視覚的,意味的,事実的な視点から,複数の知識グラフによる画像を記述する。 我々は、モデルを一連のメモリベースの推論ステップに分解し、それぞれがGラーフベースのR ead、U pdate、C ontrolによって実行される。 我々は、FVQA、Visual7W-KB、OK-VQAを含む3つの人気のあるベンチマークデータセットに対して、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2020-08-31T23:25:01Z)
• SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
  現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。 この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。 我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
  論文  参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。