論文の概要: SPARE: Structural Parameter-Free Affinity Regularization for Flow Matching

• arxiv url: http://arxiv.org/abs/2608.01990v1
• Date: Mon, 03 Aug 2026 09:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.478591
• Title: SPARE: Structural Parameter-Free Affinity Regularization for Flow Matching
• Title（参考訳）: SPARE:フローマッチングのための構造パラメータフリーアフィニティ正規化
• Abstract要約: 内部表現の正規化は効果的な加速器として現れているが、既存の手法は相補的なコストで2つのファミリーに分かれている。 構造について提案する。 Free Affinity Regularization (SPARE) は、中間トークンのペアの親和性とクリーンな潜在性の親和性とを一致させる正規化器である。 ImageNetでは、400Kレートの予算でSiTバックボーンと$256の256$で、SPAREはエンコーダ、ヘッド、パラメータを追加せず、トレーニングメモリはわずか0.08GBである。
• 参考スコア（独自算出の注目度）: 30.43836162456455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising diffusion transformers achieve strong generation quality but converge slowly during training. Regularizing their internal representations has emerged as an effective accelerator, yet existing methods split into two families with complementary costs. Target-based methods strengthen representations by aligning them to external features, which requires an external encoder and a learnable projection head to bridge feature spaces. Target-free methods hold no reference at all, and can only repel the model's own features across samples or layers, discarding whatever structure the data contains. Prior work suggests that spatial structure, rather than global semantics, drives the gains of alignment. We therefore ask whether such structure can serve as a target directly, and whether it exists not only within an image but across images. Our key insight is that the clean data latent already carries this structure in the relations among its tokens, where a relation is the similarity between two tokens, a single scalar comparable across feature spaces without a projection head. We propose Structural Parameter-free Affinity Regularization (SPARE), a regularizer that matches the pairwise affinities of intermediate tokens to those of the clean latents. To exploit this structure fully, SPARE extends the matching to token pairs across images, precisely the pairs that prior target-free methods repel by default, and calibrates both relation types with a single learning objective. On ImageNet $256 \times 256$ with SiT backbones under matched 400K-iteration budgets, SPARE adds no encoder, head, or parameters and only 0.08 GB of training memory, yet attains the lowest FID among parameter-free regularizers in every tested setting, recovers 37 to 54\% of REPA's FID reduction, and improves over REPA when combined with it, reaching FID 1.90 under classifier-free guidance at 1M iterations.
• Abstract（参考訳）: 拡散変圧器のデノイングは、強い生成品質を達成するが、訓練中にゆっくりと収束する。 内部表現の規則化は効果的な加速器として現れているが、既存の手法は相補的なコストで2つのファミリーに分かれている。 ターゲットベースの手法は、外部特徴にアライメントすることで表現を強化し、特徴空間をブリッジするために外部エンコーダと学習可能なプロジェクションヘッドを必要とする。 ターゲットフリーなメソッドは参照を一切保持せず、サンプルやレイヤにまたがるモデル自身の機能を撃退するだけで、データが保持する構造を捨てる。 以前の研究は、グローバルな意味論ではなく、空間構造がアライメントのゲインを駆動していることを示唆していた。 そこで我々は,そのような構造が直接ターゲットとして機能するかどうか,画像内だけでなく画像内に存在するのかを問う。 我々の重要な洞察は、クリーンなデータはトークン間の関係において既にこの構造を持ち、その関係は2つのトークン間の類似性であり、射影ヘッドを持たない特徴空間に匹敵する1つのスカラーである。 本稿では,中間トークンの相互親和性とクリーンな潜在性の親和性とを一致させる正規化器である構造パラメータフリー親和性正規化(SPARE)を提案する。 この構造を完全に活用するために、SPAREはマッチングを拡張し、画像間のトークンペア、正確には以前のターゲットフリーメソッドがデフォルトで取り消したペアを拡張し、両方の関係型を単一の学習目標で校正する。 ImageNet $256 \times 256$ with SiT backbones under matched 400K-iteration budgets, SPARE add no encoder, head, or parameters and only 0.08 GB of training memory, but have a least FID in each test settings, recoverys 37 to 54\% of REPA's FID reduction, and improves REPA as it with it, reach FID 1.90 under classifier-free guidance at 100M iterations。

関連論文リスト

• SAM3-LoRA: Parameter-Efficient Adaptation of a Concept-Promptable Foundation Model for Multi-Class Structural Defect Segmentation [0.0]
  本研究は,多層構造欠陥セグメンテーションにおけるローランド適応(LoRA)をSAM3に適用する。 本稿では,COCOスタイルのクラスラベルインスタンスセグメンテーションから直接,概念実証可能なモデルをトレーニングする監督手順について述べる。
  論文  参考訳（メタデータ） (2026-08-31T23:19:59Z)
• Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation [30.789763956644958]
  クロスモーダルマッチング手法は、マッチングラベルまたは厳密に整列されたハードウェアに依存しているため、大きく制限されている。 本稿では,この問題に対処するための新しい2段階トレーニングパラダイムを提案する。 提案手法はMVSECとTUM-VIEの両方のポーズ推定タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-07-11T02:23:11Z)
• AdaTok: Self-Budgeting Image Tokenization with Quality-Preserving Dynamic Tokens [39.0104982235623]
  自己予算の離散1DトークンであるAdaTokを提案する。 AdaTokは、トークンをネストしたテールマスクで注文する優先順位付き表現学習と、Adaptive Token Allocationを組み合わせたものだ。 ImageNet-1Kでは、AdaTok-Fullが256トークンでrFID 1.31に達し、AdaTok-Adaptiveは118トークンでrFID 1.50を達成する。
  論文  参考訳（メタデータ） (2026-06-05T11:49:28Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• CORE: Robust Out-of-Distribution Detection via Confidence and Orthogonal Residual Scoring [9.25889614321249]
  ディープラーニングモデルを確実にデプロイするためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 本研究では,各部分空間を独立にスコアリングして2つの信号をアンタングル化し,それらを正規化和で結合するCOREを提案する。 COREは5つのアーキテクチャと5つのベンチマーク構成で、競争力や最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-18T21:23:54Z)
• Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
  Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。 Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
  論文  参考訳（メタデータ） (2026-02-27T07:36:32Z)
• CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval [54.15776146365823]
  Composed Image Retrieval (CIR)では、ユーザーは参照画像と操作テキストの両方を使用してターゲットイメージを検索できる。 CSMCIRは3つの相乗的コンポーネントを通して効率的なクエリターゲットアライメントを実現する統一表現フレームワークである。
  論文  参考訳（メタデータ） (2026-01-07T09:21:38Z)
• REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
  reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。 ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。 高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
  論文  参考訳（メタデータ） (2025-10-06T02:48:13Z)
• Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model [69.79418000132995]
  AliTokはトークンシーケンスの依存性構造を変更する新しいアラインド・トークンライザである。 AliTokは177Mパラメータしか持たない標準的なデコーダのみの自己回帰モデルで、ImageNet-256ベンチマークで1.44のgFIDと319.5のISを達成している。
  論文  参考訳（メタデータ） (2025-06-05T17:45:10Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection [0.0]
  リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。 本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。 提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
  論文  参考訳（メタデータ） (2022-03-04T09:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。