Fugu-MT 論文翻訳(概要): VidHal: Benchmarking Temporal Hallucinations in Vision LLMs

論文の概要: VidHal: Benchmarking Temporal Hallucinations in Vision LLMs

arxiv url: http://arxiv.org/abs/2411.16771v1
Date: Mon, 25 Nov 2024 06:17:23 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-27 13:35:39.607796
Title: VidHal: Benchmarking Temporal Hallucinations in Vision LLMs
Title（参考訳）: VidHal:視覚LLMにおける時間的幻覚のベンチマーク
Authors: Wey Yeh Choong, Yangyang Guo, Mohan Kankanhalli,
Abstract要約: ビデオベースの幻覚を評価するために特別に設計されたベンチマークであるVidHalを紹介する。 VidHalの明確な特徴は、各ビデオに関連する様々なレベルのキャプションを表すキャプションを慎重に作成することである。本稿では,VLLMの字幕ランク付けを必要とする新規な字幕順序付けタスクを提案する。
参考スコア（独自算出の注目度）: 9.392258475822915
License:
Abstract: Vision Large Language Models (VLLMs) are widely acknowledged to be prone to hallucination. Existing research addressing this problem has primarily been confined to image inputs, with limited exploration of video-based hallucinations. Furthermore, current evaluation methods fail to capture nuanced errors in generated responses, which are often exacerbated by the rich spatiotemporal dynamics of videos. To address this, we introduce VidHal, a benchmark specially designed to evaluate video-based hallucinations in VLLMs. VidHal is constructed by bootstrapping video instances across common temporal aspects. A defining feature of our benchmark lies in the careful creation of captions which represent varying levels of hallucination associated with each video. To enable fine-grained evaluation, we propose a novel caption ordering task requiring VLLMs to rank captions by hallucinatory extent. We conduct extensive experiments on VidHal and comprehensively evaluate a broad selection of models. Our results uncover significant limitations in existing VLLMs regarding hallucination generation. Through our benchmark, we aim to inspire further research on 1) holistic understanding of VLLM capabilities, particularly regarding hallucination, and 2) extensive development of advanced VLLMs to alleviate this problem.
Abstract（参考訳）: 視覚大言語モデル(VLLM)は幻覚の傾向が広く認められている。この問題に対処する既存の研究は、主に画像入力に限られており、ビデオベースの幻覚の探索は限られている。さらに、現在の評価手法では、生成した応答におけるニュアンスエラーを捉えることができず、ビデオの豊富な時空間ダイナミクスによって悪化することが多い。これを解決するために、VLLMにおけるビデオベースの幻覚を評価するために特別に設計されたベンチマークであるVidHalを紹介する。 VidHalは、ビデオインスタンスを一般的な時間的側面にわたってブートストラップすることで構築される。ベンチマークの明確な特徴は、各ビデオに関連する様々なレベルの幻覚を表すキャプションを慎重に作成することにある。そこで本研究では,VLLMの字幕ランク付けを必要とする新規な字幕順序付けタスクを提案する。 VidHalで広範な実験を行い、広範囲なモデルの選択を包括的に評価する。その結果,幻覚発生に関する既存のVLLMの限界が明らかとなった。ベンチマークを通じて、我々はさらなる研究を刺激することを目指しています。 1 VLLM機能の総合的理解、特に幻覚について 2) この問題を緩和する先進的なVLLMの広範な開発。

関連論文リスト

A Survey of Hallucination in Large Visual Language Models [48.794850395309076]
幻覚の存在は、様々な分野におけるLVLMの可能性と実用性を制限している。 LVLMの構造と幻覚の発生の主な原因を紹介する。 LVLMの幻覚評価ベンチマークについて述べる。
論文参考訳（メタデータ） (2024-10-20T10:58:58Z)
Investigating and Mitigating the Multimodal Hallucination Snowballing in Large Vision-Language Models [33.19894606649144]
視覚情報を人間の言語で理解する手法は進歩しているが、LVLM(Large Vision-Language Models)は多モード幻覚に悩まされている。生成した幻覚に遭遇する際のLVLMの挙動を評価するためのMMHalballというフレームワークを提案する。本稿では,LVLMの出力分布を残差視覚入力から導出した値で修正する,Residual Visual Decodingと呼ばれるトレーニング不要な手法を提案する。
論文参考訳（メタデータ） (2024-06-30T03:04:11Z)
VideoHallucer: Evaluating Intrinsic and Extrinsic Hallucinations in Large Video-Language Models [59.05674402770661]
本稿では,大規模ビデオ言語モデル(LVLM)における幻覚検出のための最初の総合的ベンチマークであるVideoHallucerを紹介する。 VideoHallucerは幻覚を2つの主なタイプに分類する。
論文参考訳（メタデータ） (2024-06-24T06:21:59Z)
Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
論文参考訳（メタデータ） (2024-06-20T16:56:11Z)
A Survey on Hallucination in Large Vision-Language Models [18.540878498840435]
LVLM(Large Vision-Language Models)は、実践的な実装の可能性から、AIの世界において注目を集めている。しかし,「幻覚」は,現実の視覚的内容とそれに対応するテキスト生成のミスアライメントが,LVLMを活用する上で大きな課題となる。我々は,LVLM関連幻覚を解明し,今後の緩和を促進するために検討する。
論文参考訳（メタデータ） (2024-02-01T00:33:21Z)
Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
論文参考訳（メタデータ） (2023-10-01T18:10:53Z)
Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
論文参考訳（メタデータ） (2023-08-29T08:51:24Z)
Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
論文参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。