論文の概要: Mitigating Low-Level Visual Hallucinations Requires Self-Awareness: Database, Model and Training Strategy

• arxiv url: http://arxiv.org/abs/2503.20673v2
• Date: Thu, 27 Mar 2025 02:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:52:56.765769
• Title: Mitigating Low-Level Visual Hallucinations Requires Self-Awareness: Database, Model and Training Strategy
• Title（参考訳）: 自己認識を必要とする低レベル視覚幻覚の緩和:データベース,モデル,トレーニング戦略
• Authors: Yinan Sun, Xiongkuo Min, Zicheng Zhang, Yixuan Gao, Yuqin Cao, Guangtao Zhai,
• Abstract要約: 低レベル視覚タスクにおける幻覚に焦点を当てた最初のインストラクションデータベースを提案する。 低レベル視覚タスクにおけるモデルの知覚と理解能力を向上させるための自己認識障害除去(SAFEQA)モデルを提案する。 低レベルの視覚課題に対する総合的な実験を行い、提案手法がこれらの課題におけるモデルの自己認識を著しく向上し、幻覚を低減させることを示す。
• 参考スコア（独自算出の注目度）: 53.07517728420411
• License:
• Abstract: The rapid development of multimodal large language models has resulted in remarkable advancements in visual perception and understanding, consolidating several tasks into a single visual question-answering framework. However, these models are prone to hallucinations, which limit their reliability as artificial intelligence systems. While this issue is extensively researched in natural language processing and image captioning, there remains a lack of investigation of hallucinations in Low-level Visual Perception and Understanding (HLPU), especially in the context of image quality assessment tasks. We consider that these hallucinations arise from an absence of clear self-awareness within the models. To address this issue, we first introduce the HLPU instruction database, the first instruction database specifically focused on hallucinations in low-level vision tasks. This database contains approximately 200K question-answer pairs and comprises four subsets, each covering different types of instructions. Subsequently, we propose the Self-Awareness Failure Elimination (SAFEQA) model, which utilizes image features, salient region features and quality features to improve the perception and comprehension abilities of the model in low-level vision tasks. Furthermore, we propose the Enhancing Self-Awareness Preference Optimization (ESA-PO) framework to increase the model's awareness of knowledge boundaries, thereby mitigating the incidence of hallucination. Finally, we conduct comprehensive experiments on low-level vision tasks, with the results demonstrating that our proposed method significantly enhances self-awareness of the model in these tasks and reduces hallucinations. Notably, our proposed method improves both accuracy and self-awareness of the proposed model and outperforms close-source models in terms of various evaluation metrics.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルの急速な発展は、視覚知覚と理解の顕著な進歩をもたらし、いくつかのタスクを単一の視覚的質問応答フレームワークに統合した。 しかし、これらのモデルは幻覚を起こす傾向があり、人工知能システムとしての信頼性が制限される。 この問題は、自然言語処理や画像キャプションにおいて広く研究されているが、低レベル視覚知覚理解(HLPU)における幻覚の研究は、特に画像品質評価タスクの文脈において欠如している。 これらの幻覚は、モデル内の明確な自己認識の欠如から生じると考えられる。 この問題に対処するために,我々はまず,低レベル視覚タスクにおける幻覚に焦点を当てた最初の命令データベースであるHLPU命令データベースを紹介した。 このデータベースは、約200Kの質問応答ペアを含み、4つのサブセットで構成され、それぞれ異なる種類の命令をカバーしている。 次に、画像特徴、健全な領域特徴、品質特徴を利用して、低レベル視覚タスクにおけるモデルの知覚と理解能力を向上させる自己認識障害除去(SAFEQA)モデルを提案する。 さらに,知識境界に対する意識を高めるために,自己認識優先最適化(ESA-PO)フレームワークを提案する。 最後に,低レベル視覚課題に対する包括的実験を行い,提案手法がこれらの課題におけるモデルの自己認識を著しく向上させ,幻覚を低減させることを示す。 特に,提案手法は,提案手法の精度と自己認識性を向上し,様々な評価指標を用いてクローズソースモデルより優れる。

関連論文リスト

• PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
  幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2025-01-21T15:22:31Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• Explore the Hallucination on Low-level Perception for MLLMs [83.12180878559295]
  低レベルの視覚知覚と理解タスクにおけるMLLMの自己認識性を定義し,評価することを目的としている。 低レベルの視覚に対する人間の反応をシミュレートするベンチマーク設定であるQL-Benchを提案する。 いくつかのモデルでは、ロバストな低レベル視覚能力を示すが、その自己認識性は比較的未発達である。
  論文  参考訳（メタデータ） (2024-09-15T14:38:29Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
  本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。 そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-03T02:31:11Z)
• IBD: Alleviating Hallucinations in Large Vision-Language Models via Image-Biased Decoding [37.16880672402059]
  言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。 本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。 提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
  論文  参考訳（メタデータ） (2024-02-28T16:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。