論文の概要: No Alignment Needed for Generation: Learning Linearly Separable Representations in Diffusion Models

• arxiv url: http://arxiv.org/abs/2509.21565v1
• Date: Thu, 25 Sep 2025 20:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.001865
• Title: No Alignment Needed for Generation: Learning Linearly Separable Representations in Diffusion Models
• Title（参考訳）: 生成に不要なアライメント:拡散モデルにおける線形分離表現の学習
• Authors: Junno Yun, Yaşar Utku Alçalar, Mehmet Akçakaya,
• Abstract要約: 本稿では,中間層表現の線形SEP (Linear SEParability) の促進に基づく,学習のための代替正規化を提案する。 本結果は,フローベーストランスアーキテクチャにおけるトレーニング効率と生成品質の両面で大幅に向上したことを示す。
• 参考スコア（独自算出の注目度）: 4.511561231517167
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Efficient training strategies for large-scale diffusion models have recently emphasized the importance of improving discriminative feature representations in these models. A central line of work in this direction is representation alignment with features obtained from powerful external encoders, which improves the representation quality as assessed through linear probing. Alignment-based approaches show promise but depend on large pretrained encoders, which are computationally expensive to obtain. In this work, we propose an alternative regularization for training, based on promoting the Linear SEParability (LSEP) of intermediate layer representations. LSEP eliminates the need for an auxiliary encoder and representation alignment, while incorporating linear probing directly into the network's learning dynamics rather than treating it as a simple post-hoc evaluation tool. Our results demonstrate substantial improvements in both training efficiency and generation quality on flow-based transformer architectures such as SiTs, achieving an FID of 1.46 on $256 \times 256$ ImageNet dataset.
• Abstract（参考訳）: 大規模拡散モデルの効率的な訓練戦略は、これらのモデルにおける識別的特徴表現を改善することの重要性を強調している。 この方向の作業の中心は、強力な外部エンコーダから得られる特徴との表現アライメントであり、線形探索により評価された表現品質を改善する。 アライメントベースのアプローチは、将来性を示すが、計算コストがかかる大規模な事前訓練エンコーダに依存している。 本研究では,中間層表現の線形SEP(Linear SEParability)の促進に基づく,学習のための代替正規化を提案する。 LSEPは、単純なポストホック評価ツールとして扱うのではなく、線形探索を直接ネットワークの学習力学に組み込むとともに、補助エンコーダと表現アライメントの必要性を排除している。 その結果,SiTsなどのフローベーストランスフォーマーアーキテクチャのトレーニング効率と生成品質が大幅に向上し,256$ImageNetデータセットで256ドルに対してFIDが1.46ドルに達した。

関連論文リスト

• VAE-REPA: Variational Autoencoder Representation Alignment for Efficient Diffusion Training [53.09658039757408]
  本稿では,効率的な拡散訓練のための軽量な固有ガイダンスフレームワークである textbfnamex を提案する。 nameは、拡散トランスフォーマーの中間潜時特徴を、軽量なプロジェクション層を介してVAE特徴と整列し、特徴アライメントロスによって教師される。 実験により、バニラ拡散変圧器と比較して、名称が生成品質とトレーニング収束速度の両方を改善することが示された。
  論文  参考訳（メタデータ） (2026-01-25T13:22:38Z)
• Compensating Distribution Drifts in Class-incremental Learning of Pre-trained Vision Transformers [27.14203097630326]
  本稿では、遅延空間遷移演算子を導入し、ドリフト補償を用いた逐次学習を提案する。 SLDCは、ドリフトの影響を軽減するために、タスク間で機能の分散を調整することを目的としている。 標準CILベンチマークの実験では、SLDCはSeqFTの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-11-13T03:40:54Z)
• Learning Diffusion Models with Flexible Representation Guidance [49.26046407886349]
  本稿では,表現指導を拡散モデルに組み込むための体系的枠組みを提案する。 拡散モデルにおける表現アライメントを強化するための2つの新しい戦略を導入する。 画像、タンパク質配列、分子生成タスクにわたる実験は、優れた性能を示し、訓練を加速する。
  論文  参考訳（メタデータ） (2025-07-11T19:29:02Z)
• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• Self Distillation via Iterative Constructive Perturbations [0.2748831616311481]
  本稿では,循環最適化手法を用いてモデルとその入力データを並列に最適化し,より優れたトレーニングを行う新しいフレームワークを提案する。 モデルのパラメータをデータとデータに交互に変更することにより、本手法は適合性と一般化のギャップを効果的に解決する。
  論文  参考訳（メタデータ） (2025-05-20T13:15:27Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• A Simplified Framework for Contrastive Learning for Node Representations [2.277447144331876]
  グラフにノードを埋め込むために,グラフニューラルネットワークと組み合わせてコントラスト学習を展開できる可能性を検討する。 組込み行列の単純なカラムワイド後処理により, 組込み結果の品質とトレーニング時間を大幅に改善できることを示す。 この修正により、下流の分類タスクは最大1.5%改善され、8つの異なるベンチマークのうち6つで既存の最先端のアプローチに勝っている。
  論文  参考訳（メタデータ） (2023-05-01T02:04:36Z)
• Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.194184241363175]
  本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。 DDAEはすでに、補助エンコーダを使わずに、中間層内で線形分離可能な表現を強く学習している。 CIFAR-10 と Tiny-ImageNet の線形評価精度は95.9% と 50.0% である。
  論文  参考訳（メタデータ） (2023-03-17T04:20:47Z)
• Optimising for Interpretability: Convolutional Dynamic Alignment Networks [108.83345790813445]
  我々は、畳み込み動的アライメントネットワーク(CoDA Nets)と呼ばれる新しいニューラルネットワークモデルを紹介する。 彼らの中核となるビルディングブロックは動的アライメントユニット(DAU)であり、タスク関連パターンに合わせて動的に計算された重みベクトルで入力を変換するように最適化されている。 CoDAネットは一連の入力依存線形変換を通じて分類予測をモデル化し、出力を個々の入力コントリビューションに線形分解することができる。
  論文  参考訳（メタデータ） (2021-09-27T12:39:46Z)
• Sparse aNETT for Solving Inverse Problems with Deep Learning [2.5234156040689237]
  逆問題を解決するためのスパース再構成フレームワーク(aNETT)を提案する。 非線形スペーシング変換として機能するオートエンコーダネットワーク$D circ E$をトレーニングする。 スパースCTでは数値的な結果が得られた。
  論文  参考訳（メタデータ） (2020-04-20T18:43:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。