論文の概要: Isotropic Embedding Perturbations for Robust Vision Language Encoders
- arxiv url: http://arxiv.org/abs/2609.10292v1
- Date: Wed, 09 Sep 2026 15:08:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.074258
- Title: Isotropic Embedding Perturbations for Robust Vision Language Encoders
- Title（参考訳）: ロバスト視覚言語エンコーダのための等方的埋め込み摂動
- Abstract要約: Aetherは、拡散型ランダム摂動を制御されたアルファミキシングを介して埋め込み空間に応用する単純なプラグイン法である。
言語モデルにおける特徴空間摂動と生成前訓練における画像劣化に触発され、エーターは軽度だが効果的な摂動を誘導する。
Aetherは、CutMix、Mixup、DropPath、RandAugを組み合わせた高度なレシピに対して、一貫した利益を提供している。
- 参考スコア（独自算出の注目度）: 73.92626712781859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation is fundamental to training modern deep vision and multimodal models. While individual methods, such as RandAug, CutMix, Mixup, RandErase, and DropPath, offer strong regularization effects, their combined use has saturated in performance due to overlapping functionalities, and aggressive pixel-level manipulations may disrupt delicate cross-modal alignment. This saturation motivates the search for a new augmentation axis within the embedding space rather than the input space. We introduce Aether, a simple plug-in method that applies diffusion-style random perturbations in the embedding space via controlled alpha-mixing, specifically designed to provide isotropic regularization that remains semantically consistent. Inspired by feature-space perturbations in language models and image degradation in generative pretraining, Aether induces mild yet effective perturbations that smooth the representations without compromising the fine-grained structural information required for strong vision-language encoders. Across diverse architectures and across multiple recognition tasks, Aether delivers consistent gains over the advanced recipe combining CutMix, Mixup, DropPath, and RandAug---a level of improvement rarely observed with modern augmentation alternatives. Notably, Aether demonstrates superior effectiveness in multi-modal alignment, succeeding where traditional pixel-space augmentations fail by providing a stable, isotropic regularization signal that respects the integrity of the high-dimensional feature space.
- Abstract（参考訳）: データ拡張は、現代のディープビジョンとマルチモーダルモデルのトレーニングに不可欠である。
RandAug、CutMix、Mixup、RandErase、DropPathといった個々のメソッドは、強い正規化効果を提供するが、それらの組み合わせは、重なり合う機能のために性能が飽和しており、攻撃的なピクセルレベルの操作は、微妙なクロスモーダルアライメントを妨害する可能性がある。
この飽和は、入力空間ではなく埋め込み空間内に新しい拡張軸を求める動機となる。
Aetherは、制御されたアルファミキシングにより埋め込み空間に拡散型ランダム摂動を適用する単純なプラグイン法であり、特に意味論的に一貫した等方的正規化を提供するように設計されている。
言語モデルにおける特徴空間の摂動と生成前訓練における画像劣化にインスパイアされたエーターは、強い視覚言語エンコーダに必要な微細な構造情報を妥協することなく表現を円滑にする軽度かつ効果的な摂動を誘導する。
多様なアーキテクチャと複数の認識タスクにまたがって、AetherはCutMix、Mixup、DropPath、RandAugを組み合わせた高度なレシピに対して一貫した利益を提供している。
特に、Aetherはマルチモーダルアライメントにおいて優れた効果を示し、高次元特徴空間の整合性を尊重する安定な等方性正規化信号を提供することによって、従来の画素空間拡張が失敗する。
関連論文リスト
- Pixel-Space Diffusion Transformers [29.08838156660683]
遅延拡散モデル (LDMs) は, VAE圧縮された遅延空間をデノナイズすることにより, 効率的な高分解能画像合成を可能にする。
本稿では,Pixel-Space Diffusion Transformer(pDiT)について,モデルアーキテクチャ,連続生成機構,マルチモーダル統一モデリングの観点から検討する。
論文 参考訳（メタデータ） (2026-07-20T06:04:08Z) - Coevolving Representations in Joint Image-Feature Diffusion [13.292849179066993]
拡散を導く表現空間は、それ自体が生成タスクに適応すべきである。
学習中に意味表現空間が進化するフレームワークであるCoevolving Diffusion Representation (CoReDi)を提案する。
実験により、CoReDiは、固定表現空間で動作する連成拡散モデルと比較して、より高速な収束とより高いサンプル品質を実現することが示された。
論文 参考訳（メタデータ） (2026-04-19T15:29:15Z) - Rethinking Vector Field Learning for Generative Segmentation [50.08025820235397]
生成的セグメンテーションのためのモデリング拡散モデルが注目されている。
ベクトル場学習の観点から拡散セグメンテーションを再考する。
本稿では,学習した消滅速度場を距離認識補正項で拡張するベクトル場再構成手法を提案する。
この補正は、誘引的相互作用と反発的相互作用の両方を導入し、元の拡散訓練フレームワークを保ちながら、セントロイド付近の勾配等級を増大させる。
論文 参考訳（メタデータ） (2026-03-19T17:58:19Z) - V-Co: A Closer Look at Visual Representation Alignment via Co-Denoising [65.5867130156805]
統合JTフレームワークにおける視覚的コデノゲーションの体系的研究であるV-Coについて述べる。
本研究は,視覚的コデノジングを効果的に行うための4つの重要な要素を明らかにする。
V-Coは、基礎となる画素空間拡散ベースラインと強い前の画素拡散法より優れている。
論文 参考訳（メタデータ） (2026-03-17T17:01:54Z) - LADR: Locality-Aware Dynamic Rescue for Efficient Text-to-Image Generation with Diffusion Large Language Models [10.535207607235046]
Locality-Aware Dynamic Rescue (LADR) は画像の空間マルコフ特性を利用して推論を高速化する訓練不要の手法である。
LADRは、観測されたピクセルに空間的に隣接した領域である'世代フロンティア'でのトークンの回収を優先する。
4つのテキスト・画像生成ベンチマークの実験により、LADRは標準ベースラインよりも約4倍のスピードアップを達成することが示された。
論文 参考訳（メタデータ） (2026-03-13T15:12:41Z) - Hierarchical Granularity Alignment and State Space Modeling for Robust Multimodal AU Detection in the Wild [12.893641381621459]
階層的粒度アライメントと状態空間モデルによって駆動される新しいマルチモーダルフレームワークを提案する。
従来の時間畳み込みネットワークの受容的フィールド制限を、ビジョン・マンバアーキテクチャを導入して克服する。
このアプローチにより、O(N)線形複雑性を伴う時間的モデリングが可能となり、性能劣化を伴わずに超長距離力学を効果的に捉えることができる。
論文 参考訳（メタデータ） (2026-03-11T21:05:59Z) - IdGlow: Dynamic Identity Modulation for Multi-Subject Generation [23.20674988897558]
We present IdGlow, a mask-free, progressive two-stage framework built on Flow Matching diffusion model。
教師付き微調整(SFT)の段階では、拡散生成力学に対応するタスク適応型時間ステップスケジューリングを導入する。
第2段階では,マルチオブジェクトアーティファクトを同時に除去するために,重み付きマージンの定式化を施したファイングラインド・グループレベル直接選好最適化(DPO)を設計する。
論文 参考訳（メタデータ） (2026-02-28T11:56:34Z) - MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。
我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。
MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
論文 参考訳（メタデータ） (2026-02-04T09:14:09Z) - Training-Free Generation of Diverse and High-Fidelity Images via Prompt Semantic Space Optimization [50.5332987313297]
本稿では,トレーニングフリーでモデルに依存しないモジュールであるToken-Prompt Embedding Space Optimization (TPSO)を提案する。
TPSOは、トークン埋め込み空間の未表現領域を探索するために学習可能なパラメータを導入し、学習された分布の強いモードからサンプルを繰り返し生成する傾向を減少させる。
MS-COCOと3つの拡散バックボーンの実験では、TPSOは画像品質を犠牲にすることなく、生成多様性を著しく向上し、ベースライン性能を1.10から4.18ポイントに改善した。
論文 参考訳（メタデータ） (2025-11-25T00:42:09Z) - RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。
従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。
実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
論文 参考訳（メタデータ） (2025-10-16T17:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。