論文の概要: Multimodal Fact-Checking with Vision Language Models: A Probing Classifier based Solution with Embedding Strategies

• arxiv url: http://arxiv.org/abs/2412.05155v1
• Date: Fri, 06 Dec 2024 16:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:40.772900
• Title: Multimodal Fact-Checking with Vision Language Models: A Probing Classifier based Solution with Embedding Strategies
• Title（参考訳）: 視覚言語モデルを用いたマルチモーダルFact-Checking:埋め込み戦略を用いた探索型分類法
• Authors: Recep Firat Cekinel, Pinar Karagoz, Cagri Coltekin,
• Abstract要約: 本研究では,視覚言語モデル(VLM)のファクトチェックにおけるマルチモーダルコンテンツ表現および活用の有効性を評価する。 マルチモーダリティは性能を向上させることができるが,テキストと画像エンコーダの分離埋め込みはVLM埋め込みよりも優れた結果を示した。
• 参考スコア（独自算出の注目度）: 0.9217021281095907
• License:
• Abstract: This study evaluates the effectiveness of Vision Language Models (VLMs) in representing and utilizing multimodal content for fact-checking. To be more specific, we investigate whether incorporating multimodal content improves performance compared to text-only models and how well VLMs utilize text and image information to enhance misinformation detection. Furthermore we propose a probing classifier based solution using VLMs. Our approach extracts embeddings from the last hidden layer of selected VLMs and inputs them into a neural probing classifier for multi-class veracity classification. Through a series of experiments on two fact-checking datasets, we demonstrate that while multimodality can enhance performance, fusing separate embeddings from text and image encoders yielded superior results compared to using VLM embeddings. Furthermore, the proposed neural classifier significantly outperformed KNN and SVM baselines in leveraging extracted embeddings, highlighting its effectiveness for multimodal fact-checking.
• Abstract（参考訳）: 本研究では,視覚言語モデル(VLM)のファクトチェックにおけるマルチモーダルコンテンツ表現および活用の有効性を評価する。 より具体的には、テキストのみのモデルと比較してマルチモーダルコンテンツを組み込むことで性能が向上するかどうか、VLMがテキストや画像情報を用いて誤情報検出の精度を高めるかを検討する。 さらに,VLMを用いた探索型分類法を提案する。 提案手法は, 選択されたVLMの最後の隠れ層から埋め込みを抽出し, 多クラス精度分類のためのニューラルプローブ分類器に入力する。 2つのファクトチェックデータセットに関する一連の実験を通して、マルチモーダリティは性能を向上させることができるが、テキストと画像エンコーダから別々の埋め込みを融合させることで、VLM埋め込みよりも優れた結果が得られることを示した。 さらに、提案したニューラル分類器は、抽出した埋め込みを活用する上で、KNNとSVMのベースラインを著しく上回り、マルチモーダルなファクトチェックの有効性を強調した。

関連論文リスト

• Active Prompt Learning with Vision-Language Model Priors [9.173468790066956]
  視覚言語モデルの事前学習画像とテキストエンコーダを利用するクラス誘導クラスタリングを提案する。 適応型クラスワイドしきい値に基づく予算削減型選択クエリを提案する。
  論文  参考訳（メタデータ） (2024-11-23T02:34:33Z)
• Active Learning for Vision-Language Models [29.309503214127016]
  視覚言語モデル(VLM)のゼロショット分類性能を向上させる新しいアクティブラーニング(AL)フレームワークを提案する。 提案手法はまず, VLMの予測エントロピーを校正し, 自己不確かさと隣接認識の不確実性の組み合わせを用いて, 有効試料選択のための信頼性のある不確実性尺度を算出する。 提案手法は,複数の画像分類データセットにおいて,既存のAL手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T16:25:50Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Bridge the Modality and Capability Gaps in Vision-Language Model Selection [62.26769826687365]
  視覚言語モデル(VLM)は、画像とテキストのカテゴリ名とのペアリングによるゼロショット画像分類において優れている。 VLMリソースをより再利用するために、VLM Zooから適切な事前学習VLMを選択するという有望な戦略が提案されている。 本稿では,この言語のみのVLM選択において,VLMの能力を評価する上での2つの課題について分析する。 本稿では,2つのギャップの負の影響を軽減するために,gApブリッジを用いたVLM選択を提案する。
  論文  参考訳（メタデータ） (2024-03-20T17:54:58Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。