論文の概要: Same Task, Different Circuits: Disentangling Modality-Specific Mechanisms in VLMs

• arxiv url: http://arxiv.org/abs/2506.09047v1
• Date: Tue, 10 Jun 2025 17:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:43.073181
• Title: Same Task, Different Circuits: Disentangling Modality-Specific Mechanisms in VLMs
• Title（参考訳）: 同一課題, 異なる回路: VLMにおけるモダリティの分散-特異メカニズム
• Authors: Yaniv Nikankin, Dana Arad, Yossi Gandelsman, Yonatan Belinkov,
• Abstract要約: VLM(Vision-Language Model)は、視覚的な入力に関する質問に答える能力を示すが、テキスト上で類似のタスクを実行する際の精度は高い。 異なるモードのテキスト回路を同定し,比較することにより,この精度ギャップについて検討する。 これを解決するために、後層の視覚データトークンの表現を以前のレイヤに戻します。
• 参考スコア（独自算出の注目度）: 43.94713826224876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language models (VLMs) show impressive abilities to answer questions on visual inputs (e.g., counting objects in an image), yet demonstrate higher accuracies when performing an analogous task on text (e.g., counting words in a text). We investigate this accuracy gap by identifying and comparing the \textit{circuits} - the task-specific computational sub-graphs - in different modalities. We show that while circuits are largely disjoint between modalities, they implement relatively similar functionalities: the differences lie primarily in processing modality-specific data positions (an image or a text sequence). Zooming in on the image data representations, we observe they become aligned with the higher-performing analogous textual representations only towards later layers, too late in processing to effectively influence subsequent positions. To overcome this, we patch the representations of visual data tokens from later layers back into earlier layers. In experiments with multiple tasks and models, this simple intervention closes a third of the performance gap between the modalities, on average. Our analysis sheds light on the multi-modal performance gap in VLMs and suggests a training-free approach for reducing it.
• Abstract（参考訳）: VLM(Vision-Language Model)は、視覚的な入力(例えば、画像内のオブジェクトをカウントする)に関する質問に答える能力を示すが、テキスト(例えば、テキスト内の単語をカウントする)で類似のタスクを実行する場合、より高い精度を示す。 本稿では,タスク固有の計算サブグラフであるtextit{circuits} を,異なるモダリティで識別し,比較することにより,この精度ギャップについて検討する。 回路は、主にモダリティ間で不整合であるが、それらは比較的よく似た機能(主にモダリティ固有のデータ位置(画像またはテキストシーケンス))を実装している。 画像データ表現にズームインすると、後続の層に対してのみ高い性能の類似したテキスト表現と一致し、処理が遅すぎるため、後続の位置に効果的に影響を及ぼす。 これを解決するために、後層の視覚データトークンの表現を以前のレイヤに戻します。 複数のタスクやモデルを用いた実験では、この単純な介入は平均的なモダリティ間のパフォーマンスギャップの3分の1を閉じる。 本稿では,VLMのマルチモーダル性能ギャップに光を当て,その低減のためのトレーニング不要なアプローチを提案する。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• PAR: Prompt-Aware Token Reduction Method for Efficient Large Multimodal Models [32.33892531885448]
  MLLM(Multimodal large language model)は、視覚的タスクにまたがる強力なパフォーマンスを示す。 しかし、それらの効率は、マルチモーダル入力で長いコンテキストを処理することによる計算とメモリの要求によって妨げられている。 PAR(Prompt-Aware Token Reduction)は,モデルの性能を損なうことなく,視覚トークンを効率よく削減する新しい,プラグアンドプレイ方式である。
  論文  参考訳（メタデータ） (2024-10-09T07:13:22Z)
• Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models [6.467840081978855]
  マルチモーダル大言語モデル(MM-LLM)は様々なタスクで大きな成功を収めた。 主な計算負担は、処理されたテキストと視覚トークンから生じる。 視覚的CLSトークン類似度曲線の屈折点を同定する動的プルーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-02T10:49:10Z)
• Seeing the Image: Prioritizing Visual Correlation by Contrastive Alignment [40.63340635482609]
  視覚言語モデル(VLM)における既存の画像-テキストのモダリティアライメントは、各テキストトークンを自己回帰的に等しく扱う。 我々は、その視覚的相関に基づいて、各テキストトークンに対して異なるコントリビューションを割り当てることを提唱する。 コントラストアライメント(Contrastive ALignment, CAL)は、視覚的に相関したトークンのトレーニングを優先する、シンプルで効果的な再重み付け戦略である。
  論文  参考訳（メタデータ） (2024-05-28T06:44:13Z)
• Improved Baselines for Data-efficient Perceptual Augmentation of LLMs [66.05826802808177]
  コンピュータビジョンでは、画像キャプションや視覚的質問応答などの視覚言語タスクに、大きな言語モデル(LLM)を用いることができる。 複数のタスクにまたがる異なる対面機構を実験的に評価する。 異なるタスク間で(ほぼ)最適な結果をもたらす新しいインターフェース機構を同定し、トレーニング時間を4倍短縮する。
  論文  参考訳（メタデータ） (2024-03-20T10:57:17Z)
• Distribution-Aware Prompt Tuning for Vision-Language Models [20.02599087680773]
  プロンプトチューニングの鍵は、モデルパラメータを固定した学習可能なベクトルを介して、2つのモード間の特徴空間アライメントである。 この観測に触発されて、視覚言語モデルのための分布認識プロンプトチューニング(DAPT)を提案する。 11のベンチマークデータセットに対する実験により,本手法が一般化可能性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-09-06T23:49:11Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。