論文の概要: Temporal Insight Enhancement: Mitigating Temporal Hallucination in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2401.09861v1
• Date: Thu, 18 Jan 2024 10:18:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 17:23:39.960418
• Title: Temporal Insight Enhancement: Mitigating Temporal Hallucination in Multimodal Large Language Models
• Title（参考訳）: 時間的洞察の強化:マルチモーダル大言語モデルにおける時間的幻覚の緩和
• Authors: Li Sun, Liuan Wang, Jun Sun, Takayuki Okatani
• Abstract要約: 本研究では,MLLMにおける事象レベルの幻覚に対処する革新的な手法を提案する。 オンデマンドイベントクエリをアイコンアクションに分解するユニークなメカニズムを提案する。 イベント発生の特定のタイムスタンプを予測するために、CLIPやBLIP2といったモデルを採用しています。
• 参考スコア（独自算出の注目度）: 20.33971942003996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Multimodal Large Language Models (MLLMs) have significantly enhanced the comprehension of multimedia content, bringing together diverse modalities such as text, images, and videos. However, a critical challenge faced by these models, especially when processing video inputs, is the occurrence of hallucinations - erroneous perceptions or interpretations, particularly at the event level. This study introduces an innovative method to address event-level hallucinations in MLLMs, focusing on specific temporal understanding in video content. Our approach leverages a novel framework that extracts and utilizes event-specific information from both the event query and the provided video to refine MLLMs' response. We propose a unique mechanism that decomposes on-demand event queries into iconic actions. Subsequently, we employ models like CLIP and BLIP2 to predict specific timestamps for event occurrences. Our evaluation, conducted using the Charades-STA dataset, demonstrates a significant reduction in temporal hallucinations and an improvement in the quality of event-related responses. This research not only provides a new perspective in addressing a critical limitation of MLLMs but also contributes a quantitatively measurable method for evaluating MLLMs in the context of temporal-related questions.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の最近の進歩は、マルチメディアコンテンツの理解を著しく向上させ、テキスト、画像、ビデオなどの様々なモダリティを融合させた。 しかし、ビデオ入力を処理する場合、これらのモデルが直面する重要な課題は、特にイベントレベルでの誤認識や解釈といった幻覚の発生である。 本研究では,MLLMにおける事象レベルの幻覚に対処する革新的な手法を提案する。 本手法は,イベントクエリと提供ビデオの両方からイベント固有情報を抽出し,活用してMLLMの応答を洗練する新しいフレームワークを活用する。 オンデマンドイベントクエリをアイコンアクションに分解するユニークなメカニズムを提案する。 その後、CLIPやBLIP2のようなモデルを用いて、イベント発生の特定のタイムスタンプを予測する。 Charades-STAデータセットを用いて評価を行ったところ,時間的幻覚の低下と事象関連応答の質の向上が認められた。 本研究は,MLLMの限界に対処する新たな視点を提供するだけでなく,時間関連質問の文脈でMLLMを評価するための定量的に測定可能な方法にも貢献する。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Piculet: Specialized Models-Guided Hallucination Decrease for MultiModal Large Language Models [5.5712075816599]
  MLLM(Multimodal Large Language Models)は、視覚と言語の間のギャップを埋める上で大きな進歩を遂げた。 しかし、生成したテキストが画像の内容と一致しないMLLMの幻覚は、引き続き大きな課題である。 MLLMの入力表現を強化するために,Piculetという新しいトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-08-02T04:34:37Z)
• Temporal Grounding of Activities using Multimodal Large Language Models [0.0]
  画像ベースとテキストベースの大規模言語モデル(LLM)を時間的活動局所化のための2段階的アプローチで組み合わせることの有効性を評価する。 提案手法は既存のビデオベースLLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-30T09:11:02Z)
• Hallucination of Multimodal Large Language Models: A Survey [40.73148186369018]
  マルチモーダル大規模言語モデル(MLLM)は,多モーダルタスクにおいて顕著な進歩と顕著な能力を示した。 これらの有望な発展にもかかわらず、MLLMは視覚的内容と矛盾する出力をしばしば生成する。 本調査は,MLLMにおける幻覚の理解を深め,この分野のさらなる進歩を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-04-29T17:59:41Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Exploring Perceptual Limitation of Multimodal Large Language Models [57.567868157293994]
  我々は、いくつかの最先端MLLMにおける小さな視覚物体の知覚を定量的に研究する。 この制限に寄与できる4つの独立した要因を特定します。 オブジェクトの品質が低く、オブジェクトサイズも小さいため、MLLMの視覚的質問に答える能力は独立して低下する。
  論文  参考訳（メタデータ） (2024-02-12T03:04:42Z)
• Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences [80.54979242912944]
  本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。 MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
  論文  参考訳（メタデータ） (2024-01-19T07:10:13Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• PALM: Predicting Actions through Language Models [74.10147822693791]
  本稿では,長期的行動予測の課題に取り組むアプローチであるPALMを紹介する。 本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。 実験の結果,PALMは長期的な行動予測作業において最先端の手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T02:17:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。