論文の概要: Probing Conceptual Understanding of Large Visual-Language Models

• arxiv url: http://arxiv.org/abs/2304.03659v1
• Date: Fri, 7 Apr 2023 14:26:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 11:46:20.831781
• Title: Probing Conceptual Understanding of Large Visual-Language Models
• Title（参考訳）: 大規模視覚言語モデルの概念的理解
• Authors: Madeline Chantry Schiappa and Michael Cogswell and Ajay Divakaran and Yogesh Singh Rawat
• Abstract要約: コンテンツ理解の3つの側面を探索する新しいベンチマークデータセットを提案する。 我々の調査は認知科学に基礎を置いており、例えば、V+Lモデルが、男性と雪が混じっているかどうかを判断するのに役立ちます。 提案した3つの概念的理解対策に報いる新しい微調整手法を提案する。
• 参考スコア（独自算出の注目度）: 23.171454952211686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel framework for probing and improving relational, compositional and contextual understanding of large visual-language models (V+L). While large V+L models have achieved success in various downstream tasks, it is not clear if they have a conceptual grasp of the content. We propose a novel benchmarking dataset for probing three aspects of content understanding. Our probes are grounded in cognitive science and help determine if a V+L model can, for example, determine if snow garnished with a man is implausible, or if it can identify beach furniture by knowing it is located on a beach. We have experimented with 5 well known models, such as CLIP and ViLT, and found that they mostly fail to demonstrate a conceptual understanding. That said, we find interesting insights such as cross-attention helps learning conceptual understanding. We use these insights to propose a new finetuning technique that rewards the three conceptual understanding measures we proposed. We hope that the presented benchmarks will help the community assess and improve the conceptual understanding capabilities of large V+L models.
• Abstract（参考訳）: 本稿では,大規模視覚言語モデル(V+L)の関連性,構成,文脈的理解を探索し,改善するための新しい枠組みを提案する。 大規模なV+Lモデルは様々な下流タスクで成功したが、その内容が概念的に理解されているかどうかは不明だ。 コンテンツ理解の3つの側面を探索する新しいベンチマークデータセットを提案する。 我々の調査は認知科学に基礎を置いており、例えば、V+Lモデルが、男性によって育てられた雪が不明瞭かどうか、あるいはビーチの家具を識別できるかどうかを判断するのに役立ちます。 私たちはCLIPやViLTといった5つのよく知られたモデルを試し、概念的理解の実証にはほとんど失敗していることがわかった。 とはいえ、クロスアテンションのような興味深い洞察は、概念的理解の学習に役立つ。 我々はこれらの知見を用いて,提案する3つの概念理解指標に報いる新しい微調整手法を提案する。 提案したベンチマークは、大規模なV+Lモデルの概念理解能力の評価と改善に役立つことを期待している。

関連論文リスト

• Fill in the blanks: Rethinking Interpretability in vision [0.0]
  我々は、新しい視点から視覚モデルの説明可能性を再考し、トレーニング中にモデルが学習した一般的な入力構造を探索する。 標準的なビジョンデータセットと事前トレーニングされたモデルの実験は、一貫性のあるパターンを明らかにし、追加のモデルに依存しない説明可能性ツールとして解釈できる。
  論文  参考訳（メタデータ） (2024-11-15T15:31:06Z)
• VisMin: Visual Minimal-Change Understanding [7.226130826257802]
  我々は、textbfVisual textbfMinimal-Change Understanding (VisMin)と呼ばれる新しい挑戦的なベンチマークを導入する。 VisMinは2つの画像と2つのキャプションによって正しい画像キャプチャマッチを予測するモデルを必要とする。 CLIPとIdefics2を微調整する大規模なトレーニングデータセットを生成しました。
  論文  参考訳（メタデータ） (2024-07-23T18:10:43Z)
• Explaining Explainability: Understanding Concept Activation Vectors [35.37586279472797]
  最近の解釈可能性法では、概念に基づく説明を用いて、ディープラーニングモデルの内部表現を、人間が慣れ親しんだ言語に翻訳する。 これは、ニューラルネットワークの表現空間にどの概念が存在するかを理解する必要がある。 本研究では,概念活性化ベクトル(Concept Activation Vectors, CAV)の3つの特性について検討する。 本研究では,これらの特性の存在を検出するためのツールを導入し,それらが引き起こした説明にどのように影響するかを把握し,その影響を最小限に抑えるための推奨事項を提供する。
  論文  参考訳（メタデータ） (2024-04-04T17:46:20Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• Learning to Collocate Visual-Linguistic Neural Modules for Image Captioning [80.59607794927363]
  視覚言語ニューラルモジュール(LNCVM)の協調学習のための新しいイメージキャプタを提案する。 VQAで広く使われているニューラルモジュールネットワークとは異なり、視覚言語モジュールをコロケーションする作業はより困難である。 私たちのCVLNMはより効果的です。 新しい最先端の129.5 CIDEr-Dを達成し、より堅牢である。 MS-COCOデータセットの実験では、CVLNMの方が効果的であることが示されている。 新しい最先端129.5 CIDErの実現
  論文  参考訳（メタデータ） (2022-10-04T03:09:50Z)
• Unpacking Large Language Models with Conceptual Consistency [14.224799628694592]
  本稿では,大言語モデルの関連する概念に対する理解を測定するために,概念整合性を提案する。 この新しい尺度は、概念的に関連する背景知識に関するクエリに対する応答がいかに一貫性があるかを明らかにすることで、モデルがいかにうまく機能するかを測定する。
  論文  参考訳（メタデータ） (2022-09-29T20:55:57Z)
• FALCON: Fast Visual Concept Learning by Integrating Images, Linguistic descriptions, and Conceptual Relations [99.54048050189971]
  自然に発生する複数のデータストリームによってガイドされる新しい視覚概念を素早く学習するフレームワークを提案する。 学習された概念は、未知の画像について推論することで質問に答えるなど、下流のアプリケーションをサポートする。 合成と実世界の両方のデータセットにおけるモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2022-03-30T19:45:00Z)
• Object-Centric Diagnosis of Visual Reasoning [118.36750454795428]
  本稿では,地平とロバスト性に基づく視覚的推論の体系的対象中心の診断について述べる。 我々は,グラフ推論機械という診断モデルを開発した。 本モデルは、純粋に象徴的な視覚的表現を確率的シーングラフに置き換え、教師の強制訓練をビジュアル推論モジュールに適用する。
  論文  参考訳（メタデータ） (2020-12-21T18:59:28Z)
• Transformation Driven Visual Reasoning [80.32402545546209]
  本稿では,重要な要因,すなわちトランスフォーメーションを導入することで,新たな視覚的推論パラダイムを定義する。 この種のテキスト状態駆動型視覚推論アプローチは、マシンが異なる状態間のダイナミクスを推論する能力を持っているかどうかを反映する限界がある、と我々は主張する。 実験結果から,現在最先端の視覚推論モデルは,Basic上では良好に動作するが,イベントやビューにおける人間レベルのインテリジェンスには程遠いことが示唆された。
  論文  参考訳（メタデータ） (2020-11-26T07:11:31Z)
• Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text [93.08109196909763]
  我々は,新しいVQAアプローチであるMulti-Modal Graph Neural Network (MM-GNN)を提案する。 これはまず3つの部分グラフからなるグラフとして表現され、それぞれ視覚的、意味的、数値的な様相を描いている。 次に3つのアグリゲータを導入し、あるグラフから別のグラフへのメッセージ転送を誘導し、様々なモードでコンテキストを利用する。
  論文  参考訳（メタデータ） (2020-03-31T05:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。