論文の概要: Don't Miss the Forest for the Trees: Attentional Vision Calibration for Large Vision Language Models

• arxiv url: http://arxiv.org/abs/2405.17820v1
• Date: Tue, 28 May 2024 04:40:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 22:22:24.953984
• Title: Don't Miss the Forest for the Trees: Attentional Vision Calibration for Large Vision Language Models
• Title（参考訳）: 樹木の森を見逃すな:大規模視覚言語モデルのための注意的視覚校正
• Authors: Sangmin Woo, Donguk Kim, Jaehyuk Jang, Yubin Choi, Changick Kim,
• Abstract要約: 盲目トークンと呼ばれるいくつかの画像トークンへの過剰な注意は、視覚オブジェクトのきめ細かい理解を必要とするタスクにおいて幻覚反応をもたらす。 注意重みの低いトークンは、しばしば、ニュアンスオブジェクトの詳細を特定するのに不可欠な情報を持っている。 盲目トークンの過剰エンハンシスに対処するために,AVC(Attentional Vision)と呼ばれる手法を導入する。
• 参考スコア（独自算出の注目度）: 16.185253476874006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study addresses the issue observed in Large Vision Language Models (LVLMs), where excessive attention on a few image tokens, referred to as blind tokens, leads to hallucinatory responses in tasks requiring fine-grained understanding of visual objects. We found that tokens receiving lower attention weights often hold essential information for identifying nuanced object details -- ranging from merely recognizing object existence to identifying their attributes (color, position, etc.) and understanding their relationships. To counteract the over-emphasis on blind tokens and to accurately respond to user queries, we introduce a technique called Attentional Vision Calibration (AVC). During the decoding phase, AVC identifies blind tokens by analyzing the image-related attention distribution. It then dynamically adjusts the logits for the next token prediction by contrasting the logits conditioned on the original visual tokens with those conditioned on the blind tokens. This effectively lowers the dependency on blind tokens and promotes a more balanced consideration of all tokens. We validate AVC on benchmarks such as POPE, MME, and AMBER, where it consistently outperforms existing decoding techniques in mitigating object hallucinations in LVLMs.
• Abstract（参考訳）: 本研究では,視覚的物体のきめ細かい理解を必要とするタスクにおいて,視覚的物体の視覚的認識に過度な注意を払って幻覚反応を起こす,LVLM(Large Vision Language Models)の課題に対処する。 注目度を下げるトークンは、単にオブジェクトの存在を認識することから、属性(色、位置など)を識別し、それらの関係を理解することまで、曖昧なオブジェクトの詳細を特定するために不可欠な情報を持っていることがわかりました。 盲点トークンに対する過度な強調と,ユーザの問い合わせに正確に応答するために,AVC(Atentional Vision Calibration)と呼ばれる手法を導入する。 復号フェーズにおいて、AVCは画像関連注意分布を分析して盲点を識別する。 次に、元の視覚トークンに条件付のロジットと、ブラインドトークンに条件付のロジットを対比することにより、次のトークン予測のためのロジットを動的に調整する。 これにより、盲点トークンへの依存が効果的に減少し、すべてのトークンに対するよりバランスの取れた考慮が促進される。 PPE, MME, AMBER などのベンチマークで AVC を検証し,LVLM におけるオブジェクト幻覚の緩和において,既存の復号化手法を一貫して上回っている。

関連論文リスト

• FoPru: Focal Pruning for Efficient Large Vision-Language Models [11.36025001578531]
  本稿では、視覚エンコーダから導出される注目に基づくトークンの重要度に基づいて、視覚トークンを抽出する訓練不要なFocal Pruning(FoPru)を提案する。 提案手法は,高い精度を維持しつつ多数の冗長トークンを抽出し,推論効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-11-21T14:22:38Z)
• Mitigating Object Hallucination via Concentric Causal Attention [71.27325347912823]
  物体の幻覚は回転位置と密接に結びついていることを示す。 RoPEは、広く採用されている位置依存モデリング設計である。 簡易かつ効果的な位置アライメント戦略であるConcentric Causal Attention (CCA)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:54:53Z)
• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• ToSA: Token Selective Attention for Efficient Vision Transformers [50.13756218204456]
  ToSAはトークン選択型アテンションアプローチで、コンバータ層をスキップできるトークンだけでなく、参加する必要のあるトークンも識別できる。 ToSAは,ImageNet分類ベンチマークの精度を維持しながら,計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-06-13T05:17:21Z)
• LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models [35.88374542519597]
  大規模マルチモーダルモデル(LMM)は、視覚エンコーダと大きな言語モデルとを接続することで、視覚的推論能力を示す。 近年のLMMには、高解像度の画像やビデオなど、より複雑な視覚入力が組み込まれており、視覚トークンの数が大幅に増加する。 我々は,LMMの性能を損なうことなく,視覚トークンの数を著しく削減する適応型視覚トークン削減戦略であるPruMergeを提案する。
  論文  参考訳（メタデータ） (2024-03-22T17:59:52Z)
• Visual Concepts Tokenization [65.61987357146997]
  本稿では,教師なしトランスフォーマーに基づく視覚概念トークン化フレームワーク VCT を提案する。 これらの概念トークンを得るためには、概念トークン間の自己注意なしで画像トークン層から視覚情報を抽出するために、クロスアテンションのみを用いる。 さらに,異なる概念トークンが独立した視覚概念を表現することを容易にするために,概念分離損失を提案する。
  論文  参考訳（メタデータ） (2022-05-20T11:25:31Z)
• TokenLearner: What Can 8 Learned Tokens Do for Images and Videos? [89.17394772676819]
  適応的に学習したトークンに頼った新しい視覚表現学習を導入する。 本実験は,画像認識と画像認識の両タスクにおいて,いくつかの困難なベンチマークで高い性能を示した。
  論文  参考訳（メタデータ） (2021-06-21T17:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。