論文の概要: Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2607.22013v1
• Date: Fri, 24 Jul 2026 06:22:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.058844
• Title: Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning
• Title（参考訳）: マルチモーダル・チェーン・オブ・ソート・リゾニングのためのビジュアルサリエンシ・ステアリング蒸留法
• Abstract要約: トークン予算が限られている小さなモデルでは、モダリティ-相互作用融合は小さな相互モード差を抑える。 本研究では, この問題を解決するために, VSSD (Visual Saliency Steering Distillation) を提案する。 ScienceQAとM$3$CoTの実験は、VSSDが合理的な生成と答え推論を改善することを示した。
• 参考スコア（独自算出の注目度）: 13.261187830239797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal chain-of-thought (CoT) reasoning integrates visual and textual cues through step-by-step inference. In small models with limited token budgets, modality-interaction fusion often suppresses tiny cross-modal differences. In particular, multimodal CoT often struggles when different images pair with identical text or different texts pair with an identical image, making such inputs nearly indistinguishable after fusion. This study proposes Visual Saliency Steering Distillation (VSSD). VSSD leverages the attention maps of multimodal large language models to generate perturbed images that capture task-sensitive feature directions, and then applies singular value decomposition to extract dominant steering vectors to guide inter-layer distillation. Experiments on ScienceQA and M$^3$CoT demonstrate that VSSD improves rationale generation and answer inference. The code is available at https://github.com/BGWH123/VSSD.
• Abstract（参考訳）: マルチモーダルチェーン・オブ・シークレット(CoT)推論は、ステップバイステップ推論を通じて視覚的およびテキスト的手がかりを統合する。 トークンの予算が限られている小さなモデルでは、モダリティ-相互作用融合は小さなモード間差を抑える。 特にマルチモーダルCoTは、異なる画像が同一のテキストまたは異なるテキストと同一の画像とをペアリングする場合にしばしば苦労し、そのような入力は融合後にほぼ区別できない。 本研究では,ビジュアルサリエンシステアリング蒸留(VSSD)を提案する。 VSSDはマルチモーダルな大規模言語モデルの注意マップを利用して、タスクに敏感な特徴方向をキャプチャする摂動画像を生成し、次いで、定値分解を適用して支配的なステアリングベクトルを抽出し、層間蒸留を誘導する。 ScienceQA と M$^3$CoT の実験は、VSSD が有理数生成と応答推論を改善することを示した。 コードはhttps://github.com/BGWH123/VSSDで入手できる。

関連論文リスト

• GDCNet: Generative Discrepancy Comparison Network for Multimodal Sarcasm Detection [7.415126751461174]
  マルチモーダルsarcasm Detection (MSD) は、モダリティ間の意味的不一致をモデル化することによって、画像とテキストのペア内のsarcasmを識別することを目的としている。 本稿では,GDCNet(Generative Discrepancy Comparison Network)を提案する。 GDCNetは、生成した目的記述と原文間の意味的・感情的不一致を、視覚的・テキスト的忠実度の測定とともに計算する。
  論文  参考訳（メタデータ） (2026-01-28T13:51:34Z)
• Dual-branch Prompting for Multimodal Machine Translation [9.903997553625253]
  本稿では,D2P-MMTを提案する。D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT,D2P-MMT)。 D2P-MMTは、事前学習した拡散モデルによって生成されたソーステキストと再構成画像のみを必要とする。 Multi30Kデータセットの実験により、D2P-MMTは既存の最先端手法よりも優れた翻訳性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-07-23T15:22:51Z)
• Rethinking Cross-Modal Interaction in Multimodal Diffusion Transformers [79.94246924019984]
  マルチモーダル拡散変換器 (MM-DiT) はテキスト駆動型視覚生成において顕著な進歩を遂げている。 マルチモーダルインタラクションを動的に再バランスするパラメータ効率向上手法である textbfTemperature-Adjusted Cross-modal Attention (TACA) を提案する。 本研究は,テキスト・画像拡散モデルにおける意味的忠実度向上における相互注意のバランスの重要性を強調した。
  論文  参考訳（メタデータ） (2025-06-09T17:54:04Z)
• FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens [56.752362642658504]
  マルチモーダル埋め込みの代替アーキテクチャであるFuseLIPを提案する。 本稿では,テキストと画像トークンの拡張語彙で動作する単一のトランスフォーマーモデルを提案する。 本稿では,VQAやテキスト誘導画像変換検索などのマルチモーダル埋め込みタスクにおいて,FuseLIPが他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:27:12Z)
• OSDM-MReg: Multimodal Image Registration based One Step Diffusion Model [16.850096473419505]
  マルチモーダルリモートセンシング画像登録は、データ融合と解析のために異なるセンサからの画像を整列する。 画像間変換によるモダリティギャップを橋渡しする,新しいマルチモーダル画像登録フレームワークOSDM-MRegを提案する。
  論文  参考訳（メタデータ） (2025-04-08T13:32:56Z)
• Multi-scale Bottleneck Transformer for Weakly Supervised Multimodal Violence Detection [9.145305176998447]
  弱教師付きマルチモーダル暴力検出は、複数のモダリティを活用することで暴力検出モデルを学ぶことを目的としている。 本稿では,情報冗長性,モダリティの不均衡,モダリティの非同期性といった課題に明示的に対処する,弱教師付きMVD法を提案する。 最大規模のXD-Violenceデータセットの実験により,提案手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-08T15:27:08Z)
• Variational Multi-Modal Hypergraph Attention Network for Multi-Modal Relation Extraction [16.475718456640784]
  マルチモーダル関係抽出のための変分マルチモーダルハイパーグラフアテンションネットワーク(VM-HAN)を提案する。 VM-HANは、マルチモーダル関係抽出タスクにおける最先端のパフォーマンスを達成し、精度と効率の点で既存の手法より優れている。
  論文  参考訳（メタデータ） (2024-04-18T08:56:47Z)
• MM-Interleaved: Interleaved Image-Text Generative Modeling via Multi-modal Feature Synchronizer [106.79844459065828]
  本稿では,画像テキストデータのエンドツーエンド生成モデルであるMM-Interleavedを提案する。 マルチスケールおよびマルチイメージ機能同期モジュールを導入し、以前のコンテキストできめ細かい画像機能に直接アクセスできるようにする。 MM-Interleavedはマルチモーダルな指示に従って視覚的詳細を認識し、テキストと視覚の両方の条件に従って一貫した画像を生成する。
  論文  参考訳（メタデータ） (2024-01-18T18:50:16Z)
• Collaborative Score Distillation for Consistent Visual Synthesis [70.29294250371312]
  コラボレーティブスコア蒸留 (CSD) は, 定常変分勾配Descence (SVGD) に基づく。 本研究では,パノラマ画像,ビデオ,3Dシーンの視覚的編集を含む,様々な作業におけるCDDの有効性を示す。 本研究は,サンプル間の整合性を向上し,テキスト・画像拡散モデルの適用性を高めるための汎用手法として,CDDの能力について述べる。
  論文  参考訳（メタデータ） (2023-07-04T17:31:50Z)
• Benchmarking Robustness of Multimodal Image-Text Models under Distribution Shift [50.64474103506595]
  本稿では,5つのタスクに対する共通の摂動下での12のオープンソース画像テキストモデルの堅牢性について検討する。 文字レベルの摂動はテキストの最も深刻な分布シフトであり、ズームボケは画像データにとって最も深刻なシフトである。
  論文  参考訳（メタデータ） (2022-12-15T18:52:03Z)
• A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation [131.33610549540043]
  NMTのための新しいグラフベースのマルチモーダル核融合エンコーダを提案する。 まず、統合マルチモーダルグラフを用いて、入力文と画像を表す。 次に、複数のグラフベースのマルチモーダル融合層を積み重ねて、ノード表現を学習するためのセマンティックな相互作用を反復的に実行する。
  論文  参考訳（メタデータ） (2020-07-17T04:06:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。