論文の概要: Visually Dehallucinative Instruction Generation: Know What You Don't Know

• arxiv url: http://arxiv.org/abs/2402.09717v1
• Date: Thu, 15 Feb 2024 05:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 17:07:42.656727
• Title: Visually Dehallucinative Instruction Generation: Know What You Don't Know
• Title（参考訳）: 視覚的に幻覚的なインストラクション生成:知らないことを知る
• Authors: Sungguk Cha, Jusung Lee, Younghyun Lee, Cheoljong Yang
• Abstract要約: 我々は,「I Don't Know」が望ましい応答であるシナリオに対処するため,「I Know (IK) 幻覚」と呼ばれる視覚幻覚の革新的な概念を提示する。 IK幻覚のための視覚的幻覚的命令生成法を提案し,IDK-インストラクション・ビジュアル・インストラクション・データベースを提案する。
• 参考スコア（独自算出の注目度）: 0.8192907805418583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: "When did the emperor Napoleon invented iPhone?" Such hallucination-inducing question is well known challenge in generative language modeling. In this study, we present an innovative concept of visual hallucination, referred to as "I Know (IK)" hallucination, to address scenarios where "I Don't Know" is the desired response. To effectively tackle this issue, we propose the VQAv2-IDK benchmark, the subset of VQAv2 comprising unanswerable image-question pairs as determined by human annotators. Stepping further, we present the visually dehallucinative instruction generation method for IK hallucination and introduce the IDK-Instructions visual instruction database. Our experiments show that current methods struggle with IK hallucination. Yet, our approach effectively reduces these hallucinations, proving its versatility across different frameworks and datasets.
• Abstract（参考訳）: 「いつナポレオンはiPhoneを発明したのか。」 このような幻覚誘発質問は、生成言語モデリングにおいてよく知られた課題である。 本研究では, 「I Don't Know」が望ましい応答であるシナリオに対処するため, 「I Know (IK) 幻覚」と呼ばれる視覚幻覚の革新的な概念を提案する。 この問題を効果的に解決するために,人間のアノテータによって決定される未解決画像探索ペアからなるVQAv2のサブセットであるVQAv2-IDKベンチマークを提案する。 さらに, ik幻覚のための視覚的除幻覚的命令生成法を提案し, idk-instruction visual instruction databaseを紹介する。 実験の結果,現在の手法はIK幻覚に苦しむことがわかった。 しかし、このアプローチは幻覚を効果的に減少させ、さまざまなフレームワークやデータセットにまたがる汎用性を証明します。

関連論文リスト

• Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models [22.42712853647949]
  本稿では,CLIPモデル内での物体幻覚問題について詳細に検討する。 孤立しても、CLIPモデルは対象の幻覚に傾向があり、幻覚問題は単に視覚と言語モダリティの相互作用によるものではないことを示唆する。 拡張モデルは視覚エンコーダとして利用でき、LVLMにおける物体幻覚の問題を効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T06:24:49Z)
• A Unified Hallucination Mitigation Framework for Large Vision-Language Models [18.595958586621943]
  幻覚緩和のための統一的な枠組みであるデンティストを提示する。 中心となるステップは、まずクエリを分類し、次に分類結果に基づいて幻覚緩和の異なるプロセスを実行することである。 MMbenchでは、画像品質の精度が13.44%/10.2%/15.8%向上した。
  論文  参考訳（メタデータ） (2024-09-24T22:36:58Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• A Survey on Hallucination in Large Vision-Language Models [18.540878498840435]
  LVLM(Large Vision-Language Models)は、実践的な実装の可能性から、AIの世界において注目を集めている。 しかし,「幻覚」は,現実の視覚的内容とそれに対応するテキスト生成のミスアライメントが,LVLMを活用する上で大きな課題となる。 我々は,LVLM関連幻覚を解明し,今後の緩和を促進するために検討する。
  論文  参考訳（メタデータ） (2024-02-01T00:33:21Z)
• On Early Detection of Hallucinations in Factual Question Answering [4.76359068115052]
  幻覚は依然として ユーザーの信頼を得るための大きな障害です 本研究では、モデル生成に関連するアーティファクトが、生成が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。 以上の結果から,これらのアーティファクトの分布は,ハロゲン化世代と非ハロゲン化世代の違いが示唆された。
  論文  参考訳（メタデータ） (2023-12-19T14:35:04Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。