Fugu-MT 論文翻訳(概要): CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding

論文の概要: CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding

arxiv url: http://arxiv.org/abs/2409.01389v1
Date: Mon, 2 Sep 2024 17:39:26 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 04:14:12.726166
Title: CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding
Title（参考訳）: CV-Probes:視覚的言語理解における語彙と世界知識の相互作用に関する研究
Authors: Ivana Beňová, Michal Gregor, Albert Gatt,
Abstract要約: 本研究では,様々な視覚言語モデル(VL)による文脈依存動詞句の理解能力について検討した。 CV-Probesデータセットには,文脈依存動詞を用いた画像キャプチャペアが組み込まれている。モデル予測に対する動詞トークンの寄与を評価するためにMM-SHAP評価を用いる。
参考スコア（独自算出の注目度）: 2.524887615873207
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study investigates the ability of various vision-language (VL) models to ground context-dependent and non-context-dependent verb phrases. To do that, we introduce the CV-Probes dataset, designed explicitly for studying context understanding, containing image-caption pairs with context-dependent verbs (e.g., "beg") and non-context-dependent verbs (e.g., "sit"). We employ the MM-SHAP evaluation to assess the contribution of verb tokens towards model predictions. Our results indicate that VL models struggle to ground context-dependent verb phrases effectively. These findings highlight the challenges in training VL models to integrate context accurately, suggesting a need for improved methodologies in VL model training and evaluation.
Abstract（参考訳）: 本研究では,様々な視覚言語(VL)モデルが文脈依存・非文脈依存の動詞句を接地する能力について検討した。 CV-Probesデータセットは,文脈依存動詞(例,「beg」)と非文脈依存動詞(例,「sit」)を含む,文脈理解を明示的に研究するためのデータセットである。モデル予測に対する動詞トークンの寄与を評価するためにMM-SHAP評価を用いる。以上の結果から,VLモデルは文脈依存動詞句を効果的に理解するのに苦慮していることが明らかとなった。これらの知見は,VLモデルのコンテキストを正確に統合する上での課題を浮き彫りにして,VLモデルのトレーニングと評価における方法論の改善の必要性を示唆している。

関連論文リスト

VISTA: A Visual and Textual Attention Dataset for Interpreting Multimodal Models [2.0718016474717196]
統合ビジョンと言語モデル(VLM)は、機械学習研究コミュニティ内のブラックボックスと見なされることが多い。本稿では、画像領域と対応するテキストセグメント間の特定の関連をマッピングする画像テキスト整列人間の視覚的注意データセットを提案する。次に、VLモデルによって生成された内部のヒートマップとこのデータセットを比較し、モデルの決定プロセスを分析し、よりよく理解できるようにします。
論文参考訳（メタデータ） (2024-10-06T20:11:53Z)
How and where does CLIP process negation? [2.5600000778964294]
VALSEベンチマークからモデルによる否定の理解をテストするために,既存のタスクを構築した。本稿では,モデル解釈可能性に関する文献からインスピレーションを得て,否定の理解におけるVLモデルの振る舞いを説明する。
論文参考訳（メタデータ） (2024-07-15T07:20:06Z)
Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
論文参考訳（メタデータ） (2024-05-18T02:21:32Z)
Can Large Language Models Understand Context? [17.196362853457412]
本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
論文参考訳（メタデータ） (2024-02-01T18:55:29Z)
A Joint Study of Phrase Grounding and Task Performance in Vision and Language Models [28.746370086515977]
視覚的文脈における自然言語の推論を必要とするタスクの鍵は、言葉とフレーズを画像領域に接地することである。本稿では,タスクのパフォーマンスとフレーズのグラウンド化を共同で研究する枠組みを提案する。地中表現アノテーションのブルートフォーストレーニングを通じてこの問題に対処する方法を示す。
論文参考訳（メタデータ） (2023-09-06T03:54:57Z)
SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文参考訳（メタデータ） (2023-07-15T08:33:08Z)
MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models [74.89629463600978]
視覚言語領域では、ほとんどの大規模事前学習された視覚言語モデルは、文脈内学習を行う能力を持っていない。本稿では,言語領域から視覚領域へコンテキスト内学習能力を移行できるのか,という興味深い仮説を考察する。
論文参考訳（メタデータ） (2023-06-02T07:21:03Z)
On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文参考訳（メタデータ） (2022-11-15T19:56:37Z)
Towards the Human Global Context: Does the Vision-Language Model Really Judge Like a Human Being? [0.8889304968879164]
ビジョンランゲージ(VL)は研究の重要領域になりつつある。定量的な尺度「等価スコア」と評価データセット「Human Puzzle」を提案する。文脈理解においてモデルの性能を定量的に測定することを目的としている。
論文参考訳（メタデータ） (2022-07-18T01:01:43Z)
A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文参考訳（メタデータ） (2022-06-19T08:55:07Z)
Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
論文参考訳（メタデータ） (2020-10-26T07:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。