論文の概要: DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.01821v1
• Date: Mon, 03 Aug 2026 07:29:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.381131
• Title: DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion Vision-Language Models
• Title（参考訳）: DAVET:拡散視覚言語モデルのための視覚的エビデンス軌道配置
• Abstract要約: 拡散視覚言語モデル (dVLMs) は、視覚的証拠について各認知ステップを条件付けながら、マスクされた応答を反復的に認知する。 進化する生成状態に応じて視覚的エビデンスを割り当てるトレーニングフリーフレームワークであるDAVETについて述べる。
• 参考スコア（独自算出の注目度）: 5.2649891485209634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion vision-language models (dVLMs) iteratively denoise masked responses while conditioning each denoising step on visual evidence, making visual conditioning a substantial recurring inference cost. Unlike autoregressive decoding, diffusion generation repeatedly revisits the entire response as uncertainty evolves. Our analysis reveals that visual evidence demand is strongly step-dependent, motivating adaptive allocation across denoising steps. Existing inference acceleration methods operate through decoding-side strategies or visual token compression via pruning and merging, but do not explicitly treat visual evidence as a resource whose demand evolves across the diffusion process. Therefore, we present Denoising-Aware Visual Evidence Trajectory Allocation (DAVET), a training-free framework that allocates visual evidence according to the evolving generation state. Starting from a phase-conditioned evidence trajectory, the proposed allocation policy uses operation demand to set an evidence reserve whose allocation at each denoising step is modulated by trajectory risk. DAVET realizes the resulting budgets through a hierarchy of evidence views constructed from a single visual encoding, separating when and how much evidence is needed from how the evidence views are constructed. Evaluated on two representative dVLMs, LLaDA-V and LaViDa, across multiple visual-understanding benchmarks, DAVET achieves an average speedup of 1.55$\times$ with an average relative performance drop of 1.86\%, showing that denoising-aware visual evidence allocation can reduce visual conditioning cost while largely preserving generation quality.
• Abstract（参考訳）: 拡散視覚言語モデル (dVLMs) は、視覚的エビデンスに対する各認知ステップを条件付けしながら、マスクされた応答を反復的に認知し、視覚的条件付けをかなりの反復的推論コストにする。 自己回帰復号とは異なり、拡散生成は不確実性が進化するにつれて、繰り返し反応全体を再考する。 分析の結果,視覚的エビデンスに対する需要は段階的に強く依存していることが判明した。 既存の推論加速法は、デコード側戦略や、プルーニングとマージによる視覚トークン圧縮を通じて動作するが、拡散プロセス全体で要求が進行するリソースとして視覚的証拠を明示的に扱うものではない。 そこで我々は,進化する生成状態に応じて視覚的エビデンスを割り当てる訓練不要なフレームワーク,DAVET(Denoising-Aware Visual Evidence Trajectory Allocation)を提案する。 位相条件付きエビデンス軌道から始まり、提案されたアロケーションポリシーは、オペレーショナル・エビデンスを使用して、各デノベーションステップでのアロケーションが軌道リスクによって変調されるエビデンス・リザーブを設定する。 DAVETは、単一の視覚的エンコーディングから構築されたエビデンスビューの階層によって得られた予算を実現し、エビデンスビューの構築方法から、いつ、どのくらいのエビデンスが必要なのかを分離する。 LLaDA-VとLaViDaの2つの代表的dVLMで評価され、DAVETは平均1.55$\times$を平均相対的な性能低下率1.86\%で達成し、デノナイジング対応の視覚的エビデンスアロケーションは、生成品質を保ちながら視覚条件のコストを低減できることを示した。

関連論文リスト

• Visual Representation Matters: Exploiting Temporal Differences in Video-to-Audio Generation [53.47090840868696]
  Video-to-audio(V2A)生成は、画像-to-audio生成(I2A)を延長する 本稿では、V2AとI2Aを区別するキー表現として、時間差(TD)を利用するTD-V2Aを紹介する。 提案するフレームワークによるTDを効果的に活用することで、エンドツーエンドのV2A生成品質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-08-05T14:28:05Z)
• Probing Diffusion Denoising Dynamics for Contrastive Representation Learning [48.679227622825806]
  本研究では,事前学習した拡散モデルの認知力学を識別的表現学習に適応させる方法について検討する。 D$3$CL をこの問題の調査として提示する。 雑音レベルのコントラスト学習は、生成性能を維持しつつ、識別的タスクの認知表現を構造化できることを示す。
  論文  参考訳（メタデータ） (2026-07-10T03:23:44Z)
• Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs [66.15429821530503]
  Persistent Visual Memoryは、ビジュアルエビデンスへの持続的でオンデマンドアクセスを強化するために設計された、軽量の学習可能なモジュールである。 Qwen3-VLモデルの実験は、PVMが無視可能なパラメータオーバーヘッドで顕著な改善をもたらすことを示した。 詳細な分析により、PVMはより長い世代で堅牢性が向上し、内部予測収束が加速することが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-01T17:54:37Z)
• Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning [3.944710336786154]
  VLM(Vision-Language Models)は、命令の追従とオープンエンドの視覚言語推論において強力な性能を示す。 彼らはしばしば、視覚的証拠に弱く根ざした流動的な出力を生成する。 本稿では,世代間における言語的情報性と視覚的忠実性のバランスをとるためのデコードフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-28T16:18:31Z)
• Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion [93.32354378820648]
  本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。 MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。 我々のフレームワークは、残響器と残響器の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T00:47:56Z)
• DiffusionVMR: Diffusion Model for Joint Video Moment Retrieval and Highlight Detection [38.12212015133935]
  DiffusionVMRという新しいフレームワークは、2つのタスクを統一された条件記述生成プロセスとして再定義するために提案されている。 5つの広く利用されているベンチマークで実施された実験は、提案されたDiffusionVMRの有効性と柔軟性を示している。
  論文  参考訳（メタデータ） (2023-08-29T08:20:23Z)
• DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
  生成学習の観点からSED問題を再構築する。 具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。 トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
  論文  参考訳（メタデータ） (2023-08-14T17:29:41Z)
• Denoising-Contrastive Alignment for Continuous Sign Language Recognition [22.800767994061175]
  連続手話認識は,手話ビデオからテキストグルースへの符号認識を目的としている。 現在のクロスモダリティアライメントパラダイムは、ビデオ表現を導くためにテキスト文法の役割を無視することが多い。 本稿では,映像の表現性を高めるために,Denoising-Contrastive Alignmentパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-05T15:20:27Z)
• Fully Unsupervised Diversity Denoising with Convolutional Variational Autoencoders [81.30960319178725]
  完全畳み込み変分オートエンコーダ(VAE)に基づく復調手法であるDivNoisingを提案する。 まず, 撮像ノイズモデルをデコーダに明示的に組み込むことにより, 教師なしの雑音発生問題をVAEフレームワーク内に定式化する手法を提案する。 このようなノイズモデルは、ノイズの多いデータから測定したり、ブートストラップしたり、トレーニング中に共同学習したりすることが可能である。
  論文  参考訳（メタデータ） (2020-06-10T21:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。