論文の概要: The First to Know: How Token Distributions Reveal Hidden Knowledge in Large Vision-Language Models?
- arxiv url: http://arxiv.org/abs/2403.09037v1
- Date: Thu, 14 Mar 2024 02:25:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 22:07:16.821226
- Title: The First to Know: How Token Distributions Reveal Hidden Knowledge in Large Vision-Language Models?
- Title(参考訳): 第一に知る:大規模視覚言語モデルにおける隠れた知識のToken分布
- Authors: Qinyu Zhao, Ming Xu, Kartik Gupta, Akshay Asthana, Liang Zheng, Stephen Gould,
- Abstract要約: 本研究では線形プローブを用いてLVLMの出力層における隠れた知識を隠蔽する。
本報告では,最初のトークンのロジット分布は命令に応答するかどうかを決定するのに十分な情報を含んでいることを示す。
- 参考スコア(独自算出の注目度): 34.27319941609499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models (LVLMs), designed to interpret and respond to human instructions, occasionally generate hallucinated or harmful content due to inappropriate instructions. This study uses linear probing to shed light on the hidden knowledge at the output layer of LVLMs. We demonstrate that the logit distributions of the first tokens contain sufficient information to determine whether to respond to the instructions, including recognizing unanswerable visual questions, defending against multi-modal jailbreaking attack, and identifying deceptive questions. Such hidden knowledge is gradually lost in logits of subsequent tokens during response generation. Then, we illustrate a simple decoding strategy at the generation of the first token, effectively improving the generated content. In experiments, we find a few interesting insights: First, the CLIP model already contains a strong signal for solving these tasks, indicating potential bias in the existing datasets. Second, we observe performance improvement by utilizing the first logit distributions on three additional tasks, including indicting uncertainty in math solving, mitigating hallucination, and image classification. Last, with the same training data, simply finetuning LVLMs improve models' performance but is still inferior to linear probing on these tasks.
- Abstract(参考訳): 人間の指示を解釈し、反応するように設計された大型視覚言語モデル(LVLM)は、時には不適切な指示のために幻覚または有害な内容を生成する。
本研究では線形プローブを用いてLVLMの出力層における隠れた知識を隠蔽する。
本研究では,第1のトークンのロジット分布には,解決不可能な視覚的質問の認識,マルチモーダルなジェイルブレイク攻撃に対する防御,詐欺的質問の識別など,指示に対する応答を判断する十分な情報が含まれていることを実証する。
このような隠れた知識は、応答生成中に後続のトークンのロジットで徐々に失われる。
次に、第1トークン生成時の単純な復号化戦略を説明し、生成したコンテンツを効果的に改善する。
実験では、いくつかの興味深い洞察を得た。 まず、CLIPモデルには、これらのタスクを解決する強力なシグナルが含まれており、既存のデータセットの潜在的なバイアスを示しています。
第2に,算数解の不確かさの予測,幻覚の緩和,画像分類などの3つの追加課題に対する最初のロジット分布の利用により,性能改善を観察する。
最後に、同じトレーニングデータを用いて、LVLMを微調整するだけでモデルの性能が向上するが、これらのタスクの線形探索には劣る。
関連論文リスト
- Debiasing Large Visual Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - OPERA: Alleviating Hallucination in Multi-Modal Large Language Models
via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。
私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。
この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
論文 参考訳(メタデータ) (2023-11-29T18:57:07Z) - Pink: Unveiling the Power of Referential Comprehension for Multi-modal
LLMs [49.88461345825586]
本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。
本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。
本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
論文 参考訳(メタデータ) (2023-10-01T05:53:15Z) - The Challenges of Continuous Self-Supervised Learning [40.941767578622745]
自己教師付き学習(SSL)は、表現学習における主要なボトルネックの1つ、すなわち人間のアノテーションの必要性を取り除くことを目的としている。
このような連続的なセットアップに対する現在の手法の直接的な適用は、計算量と必要なデータ量の両方において非効率であることを示す。
本稿では,非効率性や時間的相関の問題を緩和する手法として,リプレイバッファの利用を提案する。
論文 参考訳(メタデータ) (2022-03-23T20:05:06Z) - Evidentiality-guided Generation for Knowledge-Intensive NLP Tasks [59.761411682238645]
Retrieval-augmented Generation Modelは、多くの知識集約型NLPタスクにまたがって最先端のパフォーマンスを示している。
生成器の訓練に、パスが出力をサポートするための正しい証拠を含むか否かに関わらず、パスの明快さを組み込む方法を導入する。
論文 参考訳(メタデータ) (2021-12-16T08:18:47Z) - Predictive Representation Learning for Language Modeling [33.08232449211759]
副次的情報の相関がLSTM表現に現れるが、それらは暗黙的に監督された予測タスクの一部ではない。
予測表現学習(PRL)を提案し,LSTMを明示的に制約し,特定の予測を符号化する。
論文 参考訳(メタデータ) (2021-05-29T05:03:47Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳(メタデータ) (2020-08-03T17:56:13Z) - Nested Learning For Multi-Granular Tasks [24.600419295290504]
元のトレーニングディストリビューションからないサンプルに、粗悪に一般化する。
標準ディープニューラルネットワーク(DNN)は通常、特定のタスクに対してエンドツーエンドでトレーニングされる。
ネスト学習の概念として,入力の階層的表現を得る方法を紹介する。
ネスト学習は、標準のエンドツーエンド方式でトレーニングされた同じネットワークよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-07-13T14:27:14Z) - Vector-Quantized Autoregressive Predictive Coding [31.4011465698136]
本稿では,Vector-Quantized Autoregressive Predictive Coding (VQ-APC)を提案する。
制限されたモデルの列を研究することで、学習された表現の構成要素を明らかにする。
音声情報や話者情報を増幅して、自己監督対象を最大化する点が存在することがわかった。
論文 参考訳(メタデータ) (2020-05-17T23:06:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。