論文の概要: DAPE: Dynamic Non-uniform Alignment and Progressive Detail Enhancement Techniques for Improving the Performance of Efficient Visual Language Models

• arxiv url: http://arxiv.org/abs/2605.08902v1
• Date: Sat, 09 May 2026 11:47:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.962577
• Title: DAPE: Dynamic Non-uniform Alignment and Progressive Detail Enhancement Techniques for Improving the Performance of Efficient Visual Language Models
• Title（参考訳）: DAPE:効率的な視覚言語モデルの性能向上のための動的非一様アライメントとプログレッシブディテールエンハンスメント技術
• Abstract要約: 既存の手法は、テキストタグと画像ブロック間の情報密度と意味範囲の固有性と動的差異を見落としている。 本稿では、連続的な詳細導入を伴う動的クロスモーダルアライメントのための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.835293178197385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, pre-trained visual-linguistic models have demonstrated tremendous potential, becoming a crucial foundational framework for numerous downstream tasks. However, the information density between text and images is not uniformly distributed. Existing methods often overlook the inherent and dynamic differences in information density and semantic scope between text tags and image blocks. These common uniform alignment strategies result in coarse-grained cross-modal interactions and loss of fine semantic details. Moreover, pursuing finer alignment typically requires substantial computational overhead, limiting practical model deployment. To address this challenge, this paper proposes a novel framework for dynamic cross-modal alignment with continuous detail introduction. First, we design a dynamically adaptive cross-modal matching mechanism that uses a learnable matching function to dynamically assign varying numbers and sizes of image tags to text tags of the same size but different information density, enabling more precise attention interaction. Second, we develop a continuous detail introduction module to progressively incorporate high-resolution visual feature enhancement into the alignment process. Extensive experiments across multiple benchmarks demonstrate significant improvements in the accuracy of various downstream tasks while reducing computational overhead.
• Abstract（参考訳）: 近年、事前学習された視覚言語モデルが大きな可能性を示し、多くの下流タスクにおいて重要な基盤となる。 しかし,テキストと画像間の情報密度は均一に分布しない。 既存の手法は、しばしば、テキストタグと画像ブロックの間の情報密度と意味範囲の固有性と動的差異を見落としている。 これらの一般的な一様アライメント戦略は、粗い粒度のクロスモーダル相互作用と細かなセマンティック詳細の喪失をもたらす。 さらに、より微細なアライメントを追求するには、通常、かなりの計算オーバーヘッドが必要で、実用的なモデル展開が制限される。 この課題に対処するため,本論文では,連続的詳細導入を伴う動的クロスモーダルアライメントのための新しいフレームワークを提案する。 まず、学習可能なマッチング機能を用いて、画像タグの異なる数とサイズを同じ大きさのテキストタグに動的に割り当てる動的適応型クロスモーダルマッチング機構を設計し、より正確な注意相互作用を可能にする。 第2に、アライメントプロセスに高解像度の視覚的特徴強調を段階的に組み込むための、連続的な詳細紹介モジュールを開発する。 複数のベンチマークにわたる大規模な実験により、様々な下流タスクの精度が大幅に向上し、計算オーバーヘッドが低減された。

関連論文リスト

• ViQ: Text-Aligned Visual Quantized Representations at Any Resolution [91.46185855575789]
  本稿では,視覚的量子化表現フレームワークViQについて紹介する。 我々のアプローチは、量子化学習をテキスト整列事前学習と特徴分別という2つの段階に構成する。 マルチモーダル・タスクの実験では、ViQは最先端のマルチモーダル・ビジョン・エンコーダに比べて競争性能が高いことを示した。
  論文  参考訳（メタデータ） (2026-06-25T17:29:27Z)
• Multimodal Large Language Models for Multi-Subject In-Context Image Generation [56.20395856287325]
  音楽は、textbfMUlti-textbfSubject textbfIn-textbfContextイメージ生成用に特別に設計された最初のMLLMである。 我々は,視覚連鎖機構による多目的意味関係の理解を深める。 訓練中に複雑な被写体画像を取り込むことで,連鎖推論におけるモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T15:37:42Z)
• MURE: Hierarchical Multi-Resolution Encoding via Vision-Language Models for Visual Document Retrieval [111.99106496142474]
  Visual Document Retrieval (VDR)は、微細な視覚的詳細とグローバルな文書構造の両方をキャプチャする表現を必要とする。 既存のVDRモデルは、高解像度文書を処理する際に効率と効率のバランスをとるのに苦労する。 本稿では,X-VisEmbパラダイムを提案する。X-VisEmbパラダイムは,多分解能サンプリングと符号化から,粒度横断的特徴融合から適応的表現蒸留へと進展する。
  論文  参考訳（メタデータ） (2026-03-07T15:17:22Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• Infusing fine-grained visual knowledge to Vision-Language Models [5.487134463783365]
  大規模コントラスト学習による視覚・言語モデル(VLM)の作成 本稿では,VLMの広義マルチモーダル知識の細粒度ドメイン適応と保持の最適バランスを実現するための微調整手法を提案する。 特に微調整時にテキストデータや元のテキストエンコーダを使わずに、視覚的テキストアライメントを維持する。
  論文  参考訳（メタデータ） (2025-08-16T19:12:09Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking [0.5242869847419834]
  情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。 生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。 3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
  論文  参考訳（メタデータ） (2023-09-15T04:39:11Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
  ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。 現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。 GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
  論文  参考訳（メタデータ） (2022-11-14T11:41:44Z)
• DiverGAN: An Efficient and Effective Single-Stage Framework for Diverse Text-to-Image Generation [7.781425222538382]
  DiverGANは、自然言語による記述に従って、多様で、可塑性で、セマンティックに一貫性のある画像を生成するためのフレームワークである。 DiverGANは2つの新しいワードレベルアテンションモジュール、すなわちチャネルアテンションモジュール(CAM)とピクセルアテンションモジュール(PAM)を採用する。 条件適応型インスタンス-階層正規化(CAdaILN)を導入し、文の埋め込みから、形やテクスチャの変化量を柔軟に操作する言語的手がかりを実現する。
  論文  参考訳（メタデータ） (2021-11-17T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。