論文の概要: RITUAL: Random Image Transformations as a Universal Anti-hallucination Lever in LVLMs

• arxiv url: http://arxiv.org/abs/2405.17821v1
• Date: Tue, 28 May 2024 04:41:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 22:22:24.951350
• Title: RITUAL: Random Image Transformations as a Universal Anti-hallucination Lever in LVLMs
• Title（参考訳）: RITUAL:LVLMにおけるユニバーサルアンチハロシン化レバーとしてのランダム画像変換
• Authors: Sangmin Woo, Jaehyuk Jang, Donguk Kim, Yubin Choi, Changick Kim,
• Abstract要約: LVLMにおける幻覚に対する堅牢性を高めるため,RITUALと呼ばれる簡易なトレーニング不要な手法を提案する。 提案手法では,元の確率分布を補うために,ランダムな画像変換を用いる。 実験の結果,変換画像の孤立的使用は当初は性能を低下させるが,これらの変換の戦略的実装は事実上有効な補完となることが示された。
• 参考スコア（独自算出の注目度）: 16.185253476874006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Large Vision Language Models (LVLMs) have revolutionized how machines understand and generate textual responses based on visual inputs. Despite their impressive capabilities, they often produce "hallucinatory" outputs that do not accurately reflect the visual information, posing challenges in reliability and trustworthiness. Current methods such as contrastive decoding have made strides in addressing these issues by contrasting the original probability distribution of generated tokens with distorted counterparts; yet, generating visually-faithful outputs remains a challenge. In this work, we shift our focus to the opposite: What could serve as a complementary enhancement to the original probability distribution? We propose a simple, training-free method termed RITUAL to enhance robustness against hallucinations in LVLMs. Our approach employs random image transformations as complements to the original probability distribution, aiming to mitigate the likelihood of hallucinatory visual explanations by enriching the model's exposure to varied visual scenarios. Our empirical results show that while the isolated use of transformed images initially degrades performance, strategic implementation of these transformations can indeed serve as effective complements. Notably, our method is compatible with current contrastive decoding methods and does not require external models or costly self-feedback mechanisms, making it a practical addition. In experiments, RITUAL significantly outperforms existing contrastive decoding methods across several object hallucination benchmarks, including POPE, CHAIR, and MME.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)の最近の進歩は、機械が視覚入力に基づいてテキスト応答を理解・生成する方法に革命をもたらした。 印象的な能力にもかかわらず、彼らはしばしば視覚情報を正確に反映しない「幻覚的」なアウトプットを生成し、信頼性と信頼性の課題を提起する。 対照的な復号法のような現在の手法は、生成されたトークンの元の確率分布と歪んだトークンとの対比によってこれらの問題に対処する努力をしてきたが、視覚的に忠実な出力を生成することは依然として困難である。 この研究では、我々の焦点を反対にシフトする: 元の確率分布を補完的に拡張できるものは何か? LVLMにおける幻覚に対する堅牢性を高めるため,RITUALと呼ばれる簡易なトレーニング不要な手法を提案する。 提案手法では,モデルが様々な視覚シナリオに露出することにより,幻覚的視覚的説明の可能性を軽減することを目的として,元の確率分布の補足としてランダムな画像変換を用いる。 実験の結果,変換画像の孤立的使用は当初は性能を低下させるが,これらの変換の戦略的実装は事実上有効な補完となることが示された。 特に,本手法は,現行のコントラスト復号法と互換性があり,外部モデルやコストのかかる自己フィードバック機構を必要としないため,実用的な追加である。 実験では、RITUALは、POPE、CHAIR、MMEを含むいくつかのオブジェクト幻覚ベンチマークにおいて、既存のコントラスト的復号法を著しく上回っている。

関連論文リスト

• VaLiD: Mitigating the Hallucination of Large Vision Language Models by Visual Layer Fusion Contrastive Decoding [38.23310445372371]
  LVLM(Large Vision-Language Models)はマルチモーダルタスク推論において優れた性能を示す。 textbfVisutextbfal textbfLayer Fustextbfion Contrastive textbfDecoding (VaLiD)。
  論文  参考訳（メタデータ） (2024-11-24T13:42:02Z)
• CODE: Contrasting Self-generated Description to Combat Hallucination in Large Multi-modal Models [51.70129969269271]
  CODE(Countering Description Contrastive Decoding)という,新しいコントラストベースのデコーディング手法を提案する。 提案手法は幻覚を著しく低減し,様々なベンチマークや最先端のLMM間の相互整合性を改善する。
  論文  参考訳（メタデータ） (2024-06-04T03:04:21Z)
• Fact :Teaching MLLMs with Faithful, Concise and Transferable Rationales [102.54274021830207]
  MLLMの教えに忠実で簡潔で伝達しやすい多モーダル論理を生成するために設計された新しいパラダイムであるFactを紹介する。 プログラミングパラダイムからエンドツーエンドパラダイムに転送可能な合理性をフィルタリングして、転送可能性を保証する。 また,画像とテキストの相関性が高いため,幻覚の低減も図っている。
  論文  参考訳（メタデータ） (2024-04-17T07:20:56Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• IBD: Alleviating Hallucinations in Large Vision-Language Models via Image-Biased Decoding [37.16880672402059]
  言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。 本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。 提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
  論文  参考訳（メタデータ） (2024-02-28T16:57:22Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Learning from Multi-Perception Features for Real-Word Image Super-resolution [87.71135803794519]
  入力画像の複数の知覚的特徴を利用する新しいSR手法MPF-Netを提案する。 本稿では,MPFEモジュールを組み込んで,多様な知覚情報を抽出する手法を提案する。 また、モデルの学習能力を向上する対照的な正規化項(CR)も導入する。
  論文  参考訳（メタデータ） (2023-05-26T07:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。