論文の概要: The First to Know: How Token Distributions Reveal Hidden Knowledge in Large Vision-Language Models?

• arxiv url: http://arxiv.org/abs/2403.09037v1
• Date: Thu, 14 Mar 2024 02:25:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 22:07:16.821226
• Title: The First to Know: How Token Distributions Reveal Hidden Knowledge in Large Vision-Language Models?
• Title（参考訳）: 第一に知る:大規模視覚言語モデルにおける隠れた知識のToken分布
• Authors: Qinyu Zhao, Ming Xu, Kartik Gupta, Akshay Asthana, Liang Zheng, Stephen Gould,
• Abstract要約: 本研究では線形プローブを用いてLVLMの出力層における隠れた知識を隠蔽する。 本報告では,最初のトークンのロジット分布は命令に応答するかどうかを決定するのに十分な情報を含んでいることを示す。
• 参考スコア（独自算出の注目度）: 34.27319941609499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs), designed to interpret and respond to human instructions, occasionally generate hallucinated or harmful content due to inappropriate instructions. This study uses linear probing to shed light on the hidden knowledge at the output layer of LVLMs. We demonstrate that the logit distributions of the first tokens contain sufficient information to determine whether to respond to the instructions, including recognizing unanswerable visual questions, defending against multi-modal jailbreaking attack, and identifying deceptive questions. Such hidden knowledge is gradually lost in logits of subsequent tokens during response generation. Then, we illustrate a simple decoding strategy at the generation of the first token, effectively improving the generated content. In experiments, we find a few interesting insights: First, the CLIP model already contains a strong signal for solving these tasks, indicating potential bias in the existing datasets. Second, we observe performance improvement by utilizing the first logit distributions on three additional tasks, including indicting uncertainty in math solving, mitigating hallucination, and image classification. Last, with the same training data, simply finetuning LVLMs improve models' performance but is still inferior to linear probing on these tasks.
• Abstract（参考訳）: 人間の指示を解釈し、反応するように設計された大型視覚言語モデル(LVLM)は、時には不適切な指示のために幻覚または有害な内容を生成する。 本研究では線形プローブを用いてLVLMの出力層における隠れた知識を隠蔽する。 本研究では,第1のトークンのロジット分布には,解決不可能な視覚的質問の認識,マルチモーダルなジェイルブレイク攻撃に対する防御,詐欺的質問の識別など,指示に対する応答を判断する十分な情報が含まれていることを実証する。 このような隠れた知識は、応答生成中に後続のトークンのロジットで徐々に失われる。 次に、第1トークン生成時の単純な復号化戦略を説明し、生成したコンテンツを効果的に改善する。 実験では、いくつかの興味深い洞察を得た。 まず、CLIPモデルには、これらのタスクを解決する強力なシグナルが含まれており、既存のデータセットの潜在的なバイアスを示しています。 第2に,算数解の不確かさの予測,幻覚の緩和,画像分類などの3つの追加課題に対する最初のロジット分布の利用により,性能改善を観察する。 最後に、同じトレーニングデータを用いて、LVLMを微調整するだけでモデルの性能が向上するが、これらのタスクの線形探索には劣る。

関連論文リスト

• Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。 LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。 MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:30Z)
• Self-Introspective Decoding: Alleviating Hallucinations for Large Vision-Language Models [30.26685485474035]
  LVLM(Large Vision-Language Models)は近年急速に進歩している。 幻覚問題として知られる問題は、重大なボトルネックとして浮上している。 自己検査復号法(Self-Introspective Decoding, SID)を提案する。
  論文  参考訳（メタデータ） (2024-08-04T13:50:17Z)
• Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs [52.497823009176074]
  LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。 視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• Conditional Prototype Rectification Prompt Learning [32.533844163120875]
  本稿では, 基本事例のバイアスを補正し, 限られたデータを効果的に拡張するための, CPR(Prototype Rectification Prompt Learning)手法を提案する。 CPRは、いくつかのショット分類とベース・ツー・ニューな一般化タスクの両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-15T15:43:52Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Evidentiality-guided Generation for Knowledge-Intensive NLP Tasks [59.761411682238645]
  Retrieval-augmented Generation Modelは、多くの知識集約型NLPタスクにまたがって最先端のパフォーマンスを示している。 生成器の訓練に、パスが出力をサポートするための正しい証拠を含むか否かに関わらず、パスの明快さを組み込む方法を導入する。
  論文  参考訳（メタデータ） (2021-12-16T08:18:47Z)
• Predictive Representation Learning for Language Modeling [33.08232449211759]
  副次的情報の相関がLSTM表現に現れるが、それらは暗黙的に監督された予測タスクの一部ではない。 予測表現学習(PRL)を提案し,LSTMを明示的に制約し,特定の予測を符号化する。
  論文  参考訳（メタデータ） (2021-05-29T05:03:47Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Nested Learning For Multi-Granular Tasks [24.600419295290504]
  元のトレーニングディストリビューションからないサンプルに、粗悪に一般化する。 標準ディープニューラルネットワーク(DNN)は通常、特定のタスクに対してエンドツーエンドでトレーニングされる。 ネスト学習の概念として,入力の階層的表現を得る方法を紹介する。 ネスト学習は、標準のエンドツーエンド方式でトレーニングされた同じネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-13T14:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。