論文の概要: CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding

• arxiv url: http://arxiv.org/abs/2409.01389v2
• Date: Mon, 14 Jul 2025 02:48:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:21.257763
• Title: CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding
• Title（参考訳）: CV-Probes:視覚的言語理解における語彙と世界知識の相互作用に関する研究
• Authors: Ivana Beňová, Michal Gregor, Albert Gatt,
• Abstract要約: CV-Probesデータセットには,社会的知識と視覚的文脈の両方を必要とする動詞句を含む画像認識ペアが組み込まれている。 視覚言語(VL)モデルは、コンテキスト依存の強いVPに苦しむことを示す。
• 参考スコア（独自算出の注目度）: 2.524887615873207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do vision-language (VL) transformer models ground verb phrases and do they integrate contextual and world knowledge in this process? We introduce the CV-Probes dataset, containing image-caption pairs involving verb phrases that require both social knowledge and visual context to interpret (e.g., "beg"), as well as pairs involving verb phrases that can be grounded based on information directly available in the image (e.g., "sit"). We show that VL models struggle to ground VPs that are strongly context-dependent. Further analysis using explainable AI techniques shows that such models may not pay sufficient attention to the verb token in the captions. Our results suggest a need for improved methodologies in VL model training and evaluation. The code and dataset will be available https://github.com/ivana-13/CV-Probes.
• Abstract（参考訳）: 視覚言語(VL)トランスフォーマーは、どのように動詞句をモデル化し、このプロセスに文脈的・世界的知識を統合するのか? CV-Probesデータセットには,社会的知識と視覚的コンテキストの両方を必要とする動詞句と,その画像で直接利用できる情報(例えば,「sit」)に基づいて根拠付けることができる動詞句のペアを含む。 VLモデルは、強い文脈依存のVPに苦しむことを示す。 説明可能なAI技術を用いたさらなる分析は、これらのモデルがキャプション内の動詞トークンに十分な注意を払わないことを示している。 この結果から,VLモデルトレーニングおよび評価における方法論の改善の必要性が示唆された。 コードとデータセットはhttps://github.com/ivana-13/CV-Probes.comで入手できる。

関連論文リスト

• VISTA: A Visual and Textual Attention Dataset for Interpreting Multimodal Models [2.0718016474717196]
  統合ビジョンと言語モデル(VLM)は、機械学習研究コミュニティ内のブラックボックスと見なされることが多い。 本稿では、画像領域と対応するテキストセグメント間の特定の関連をマッピングする画像テキスト整列人間の視覚的注意データセットを提案する。 次に、VLモデルによって生成された内部のヒートマップとこのデータセットを比較し、モデルの決定プロセスを分析し、よりよく理解できるようにします。
  論文  参考訳（メタデータ） (2024-10-06T20:11:53Z)
• How and where does CLIP process negation? [2.5600000778964294]
  VALSEベンチマークからモデルによる否定の理解をテストするために,既存のタスクを構築した。 本稿では,モデル解釈可能性に関する文献からインスピレーションを得て,否定の理解におけるVLモデルの振る舞いを説明する。
  論文  参考訳（メタデータ） (2024-07-15T07:20:06Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)
• SemiVL: Semi-Supervised Semantic Segmentation with Vision-Language Guidance [97.00445262074595]
  半教師付きセマンティックセマンティックセグメンテーションに視覚言語モデルからの豊富な事前情報を統合することを提案する。 我々は、視覚と言語を共同で推論する言語誘導デコーダを設計する。 4つのセマンティックセグメンテーションデータセット上でSemiVLを評価する。
  論文  参考訳（メタデータ） (2023-11-27T19:00:06Z)
• A Joint Study of Phrase Grounding and Task Performance in Vision and Language Models [28.746370086515977]
  視覚的文脈における自然言語の推論を必要とするタスクの鍵は、言葉とフレーズを画像領域に接地することである。 本稿では,タスクのパフォーマンスとフレーズのグラウンド化を共同で研究する枠組みを提案する。 地中表現アノテーションのブルートフォーストレーニングを通じてこの問題に対処する方法を示す。
  論文  参考訳（メタデータ） (2023-09-06T03:54:57Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models [74.89629463600978]
  視覚言語領域では、ほとんどの大規模事前学習された視覚言語モデルは、文脈内学習を行う能力を持っていない。 本稿では,言語領域から視覚領域へコンテキスト内学習能力を移行できるのか,という興味深い仮説を考察する。
  論文  参考訳（メタデータ） (2023-06-02T07:21:03Z)
• "Let's not Quote out of Context": Unified Vision-Language Pretraining for Context Assisted Image Captioning [40.01197694624958]
  我々は,One For All(OFA)モデルに基づく新しい統合ビジョンランゲージ(VL)モデルを提案する。 我々のアプローチは、既存のアプローチの文脈に依存しない(画像とテキストは独立して扱われる)性質を克服することを目的としています。 本システムは,ベンチマークニュース画像キャプションデータセットにおいて,最大8.34CIDErのスコアを向上し,最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-06-01T17:34:25Z)
• Teaching Structured Vision&Language Concepts to Vision&Language Models [46.344585368641006]
  SVLC(Structured Vision&Language Concepts)の概念について紹介する。 SVLCは、オブジェクト属性、関係、および、テキストに存在し、画像で見える状態を含む。 本稿では,VLモデルのSVLC理解を高めるための,よりエレガントなデータ駆動手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:54:10Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• Towards the Human Global Context: Does the Vision-Language Model Really Judge Like a Human Being? [0.8889304968879164]
  ビジョンランゲージ(VL)は研究の重要領域になりつつある。 定量的な尺度「等価スコア」と評価データセット「Human Puzzle」を提案する。 文脈理解においてモデルの性能を定量的に測定することを目的としている。
  論文  参考訳（メタデータ） (2022-07-18T01:01:43Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• GLIPv2: Unifying Localization and Vision-Language Understanding [161.1770269829139]
  本稿では,ローカライズタスクとビジョンランゲージ(VL)理解タスクの両方を提供する,基底VL理解モデルGLIPv2を提案する。 GLIPv2は、ローカライゼーション事前トレーニングとビジョン言語事前トレーニングを3つの事前トレーニングタスクで統合する。 一つのGLIPv2モデルが,様々なローカライゼーションおよび理解タスクにおいて,SoTAに近い性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T20:31:28Z)
• Does Vision-and-Language Pretraining Improve Lexical Grounding? [25.357191933430627]
  ビジョン・アンド・ランゲージモデルは、テキストや画像、ビデオデータに基づいて共同で訓練される。 内部言語表現そのものが、テキストのみの表現とどのように比較されるのかは、まだ分かっていない。
  論文  参考訳（メタデータ） (2021-09-21T15:12:39Z)
• VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer [76.3906723777229]
  言語理解を改善するためのビデオ言語知識蒸留法VidLanKDを提案する。 我々は、ビデオテキストデータセット上でマルチモーダル教師モデルを訓練し、その知識をテキストデータセットを用いて学生言語モデルに伝達する。 我々の実験では、VidLanKDはテキストのみの言語モデルや発声モデルよりも一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-07-06T15:41:32Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)
• VIVO: Visual Vocabulary Pre-Training for Novel Object Captioning [128.6138588412508]
  本稿では,字幕アノテーションがない場合に事前学習を行うVIVO(Visual VOcabulary Pretraining)を提案する。 本モデルでは,新しいオブジェクトを記述した画像キャプションを生成するだけでなく,それらのオブジェクトの位置を識別する。
  論文  参考訳（メタデータ） (2020-09-28T23:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。