論文の概要: APEX: Asynchronous Prefix Denoising for Extreme Compression
- arxiv url: http://arxiv.org/abs/2610.12843v1
- Date: Fri, 09 Oct 2026 01:06:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.333573
- Title: APEX: Asynchronous Prefix Denoising for Extreme Compression
- Title(参考訳): APEX: 極端な圧縮のための非同期プレフィックス
- Abstract要約: 本稿では,EXtreme圧縮のための非同期プレフィックスデノベーションの略であるAPEXを紹介する。
APEXは階層的な潜在空間とチャネル群上の非同期デノゲーションをペアリングする。
ImageNet-512では、APEXは64倍と128倍の圧縮で評価されたチャンネル数で既存の手法より優れている。
- 参考スコア(独自算出の注目度): 17.209382313162365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fewer latent tokens promise cheaper diffusion. Yet aggressive latent compression creates a reconstruction-generation dilemma: adding channels improves reconstruction but makes generation harder. We introduce APEX, short for Asynchronous Prefix denoising for EXtreme compression, which pairs a hierarchical latent space with asynchronous denoising over channel groups. Our autoencoder orders channel prefixes from structure to detail, while one shared denoiser generates them at staggered local times without adding tokens. On ImageNet-512, APEX outperforms existing methods at every evaluated channel count under 64x and 128x compression. At matched training and guided sampling compute, it also outperforms a 256-token model at every evaluated budget, with larger gains at lower compute. Code is available at https://daviddinkevich.github.io/APEX.
- Abstract(参考訳): 遅延トークンが少ないと、より安い拡散が保証される。
しかし、アグレッシブな潜伏圧縮は再生世代ジレンマを生じさせ、チャネルの追加は再構築を改善するが、生成を難しくする。
本稿では,Extreme圧縮のための非同期プレフィックスデノケーション(Asynchronous Prefix Denoising)の略としてAPEXを導入し,チャネル群上の非同期デノケーションと階層的な潜在空間をペアリングする。
我々のオートエンコーダは、構造から細部までチャネルプレフィックスを命令し、一方の共有デノイザはトークンを追加せずに、停滞したローカル時間にそれらを生成します。
ImageNet-512では、APEXは64倍と128倍の圧縮で評価されたチャンネル数で既存の手法より優れている。
一致したトレーニングとガイド付きサンプリング計算では、評価された予算毎に256トークンモデルより優れ、低い計算では大きなゲインを持つ。
コードはhttps://daviddinkevich.github.io/APEXで公開されている。
関連論文リスト
- DeCoPrune: Efficient KV-Cache Pruning for Autoregressive Video Diffusion via Denoising Consistency [32.36199443615815]
本稿では,キャッシュ圧縮をデノナイジング一貫性問題として扱う,トレーニング不要なDeCoPruneを紹介する。
DeCoPruneは、その中間的クリーン予測と最終的な復号化値との相違を利用して、各カレントチャンクトークンの復号化困難を測定する。
LingBot World v2の実験によると、DeCoPruneはKVの長距離リコールをほぼ完全に保存し、歴史的KVトークンの85%以上をプルーニングしている。
論文 参考訳(メタデータ) (2026-09-30T06:33:16Z) - OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。
その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
論文 参考訳(メタデータ) (2025-10-08T03:55:24Z) - WeTok: Powerful Discrete Tokenization for High-Fidelity Visual Reconstruction [15.118980313583805]
WeTokトークンを強力かつ簡潔に導入する。
従来の主要なトークン化ツールを2つのコアイノベーションで上回っている。
主要なベンチマークの実験では、WeTokの優れたパフォーマンスが示されています。
論文 参考訳(メタデータ) (2025-08-07T17:41:26Z) - Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。
偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。
本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
論文 参考訳(メタデータ) (2025-07-02T08:29:18Z) - REN: Fast and Efficient Region Encodings from Patch-Based Image Encoders [48.93587822355874]
Region Network (REN) は、ポイントプロンプトを用いて領域ベースの画像表現を生成するための高速で効果的なモデルである。
RENは、リージョントークンを直接生成する軽量モジュールを使用して、このボトルネックをバイパスする。
これはいくつかのクロスアテンションブロックを使用し、ポイントプロンプトをクエリとして取り、パッチベースのイメージエンコーダからキーと値として機能してリージョントークンを生成する。
論文 参考訳(メタデータ) (2025-05-23T17:59:33Z) - CODA: Repurposing Continuous VAEs for Discrete Tokenization [31.932323809073477]
textbfCODA(textbfCOntinuous-to-textbfDiscrete textbfAdaptation)は、圧縮と離散化を分離するフレームワークである。
提案手法は,ImageNet 256$times$256ベンチマークにおいて,$mathbf0.43$と$mathbf1.34$を8倍,$16倍の圧縮で,100%のコードブック利用と注目すべき再構成FID(rFID)を実現している。
論文 参考訳(メタデータ) (2025-03-22T12:59:00Z) - Ultra Dual-Path Compression For Joint Echo Cancellation And Noise
Suppression [38.09558772881095]
固定圧縮比の下では、時間と周波数の両方の手法を組み合わせたデュアルパス圧縮により、さらなる性能向上が期待できる。
提案されたモデルは、高速なFullSubNetやDeepNetFilterと比較して、競争力のある性能を示している。
論文 参考訳(メタデータ) (2023-08-21T21:36:56Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳(メタデータ) (2023-05-29T10:15:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。