論文の概要: ToDoPro: Faster and Better Reference-Based Generation: Early Token Reduction via Downsampled Self-Probing

• arxiv url: http://arxiv.org/abs/2610.34782v1
• Date: Mon, 26 Oct 2026 03:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.719877
• Title: ToDoPro: Faster and Better Reference-Based Generation: Early Token Reduction via Downsampled Self-Probing
• Title（参考訳）: ToDoPro: より速く、より優れた参照ベースの生成:ダウンサンプルによるセルフプロファイリングによる早期トークン削減
• Abstract要約: ダウンサンプリング型セルフプロービング(ToDoPro)による早期トーケン削減を提案する。 3つのベースモデルと2つのベンチマーク実験により、初期の縮小は推論を著しく加速し、ピークVRAMを緩和することを示した。 ノイズの多い非形式的な参照トークンを安全にフィルタリングすることで、生成品質を向上させることができる。
• 参考スコア（独自算出の注目度）: 15.242163769521698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent generic reference-based image generation models natively support multiple conditions by concatenating all reference image and text tokens into a joint sequence processed by a single Diffusion Transformer (DiT). However, this versatile paradigm comes at an efficiency cost: accommodating multiple references leads to a token explosion, incurring massive $\mathcal{O}(N^2)$ computational complexity. Most acceleration methods operate inside the DiT, showing limited capability in reducing spatial redundancy and failing to alleviate peak VRAM. While some pre-model token reduction alternatives exist, they inevitably introduce external models. This raises a question: Is it possible to achieve acceleration and memory savings while preserving compatibility with in-model techniques and requiring no additional parameters? In this work, we realize this goal by proposing the early Token reduction via Downsampled self-Probing (ToDoPro). By executing a few denoising steps on spatially $2\times$ downsampled reference images, this cheap probing stage utilizes the DiT model itself to effectively and efficiently extract reference token importance. Using the probed importance, we apply a hierarchical reduction before the main denoising stage: we completely discard low-importance tokens, substitute mid-importance tokens with their downsampled counterparts to cheaply preserve global context, and keep high-importance tokens. Experiments across three base models and two benchmarks demonstrate that our early reduction accelerates inference significantly and mitigates peak GPU memory. Furthermore, we can improve generation quality by safely filtering out noisy, uninformative reference tokens, enabling the model to concentrate its limited attention capacity on genuinely useful tokens. The code will be released at https://github.com/scy639/ToDoPro
• Abstract（参考訳）: 最近の一般的な参照ベース画像生成モデルは、すべての参照画像とテキストトークンを単一の拡散変換器(DiT)によって処理されたジョイントシーケンスに結合することで、複数の条件をネイティブにサポートしている。 しかし、この多元的パラダイムは効率のコストがかかる: 複数の参照を調節するとトークンが爆発し、巨大な$\mathcal{O}(N^2)$計算複雑性が生じる。 ほとんどの加速法はDiT内で動作し、空間的冗長性を低下させ、ピークVRAMを緩和する能力に限界がある。 いくつかのプレモデルトークン還元代替品は存在するが、必然的に外部モデルを導入している。 モデル内のテクニックとの互換性を保ち、追加のパラメータを必要としないまま、アクセラレーションとメモリ節約を達成することは可能か? 本研究では,Downsampled Self-Probing (ToDoPro) を通じて早期のToken削減を提案することで,この目標を実現する。 空間的に2\times$ダウンサンプリングされた参照画像に対して数ステップを実行することで、この安価な探索段階は、DiTモデル自体を使用して、参照トークンの重要性を効果的かつ効率的に抽出する。 調査対象の重要度を用いて,重要度が低いトークンを完全に破棄し,ダウンサンプリングされたトークンを置き換えて,グローバルなコンテキストを安価に保存し,重要度の高いトークンを保持するという,階層的な削減を適用した。 3つのベースモデルと2つのベンチマークによる実験により、私たちの早期削減は推論を著しく加速し、ピークGPUメモリを軽減します。 さらに、ノイズの多い非形式的参照トークンを安全にフィルタリングすることで、生成品質を向上させることができるので、モデルが真に有用なトークンに限られた注意力を集中させることができる。 コードはhttps://github.com/scy639/ToDoProでリリースされる。

関連論文リスト

• TrackTok: Object-Centric Video Tokenization with Semantically Persistent Tokens [61.201991859116056]
  TrackTokは、オブジェクト中心のトークンを生成する効率的なビデオトークン化フレームワークである。 提案手法は,フレーム間の視覚的特徴を安定な意味単位に結合する時間的に永続的なオブジェクト中心表現を学習する。 TrackTokは、UCF-101データセット上で、同等のクラス条件生成FVDを8倍の遅延トークンとより優れたレイテンシで達成している。
  論文  参考訳（メタデータ） (2026-10-24T18:57:47Z)
• Autoregressive Image Generation with Masked Bit Modeling [34.36577356251466]
  Bit AutoRegressive Modeling (BAR)は任意のコードブックサイズをサポートするスケーラブルなフレームワークである。 BAR は ImageNet-256 上で 0.99 の最先端 gFID を新たに達成し、連続パラダイムと離散パラダイムの両方で先行する手法より優れている。
  論文  参考訳（メタデータ） (2026-02-09T18:59:58Z)
• How Many Tokens Do 3D Point Cloud Transformer Architectures Really Need? [56.09721366421187]
  トークンは極めて冗長であり、実質的な非効率性をもたらすことを示す。 本稿では,最大90～95%のトークン数を削減できるグローバルなグラフトークンマージ手法であるgitmerge3Dを紹介する。 この研究は、大規模な3Dトランスフォーマーモデルの冗長性を初めて評価し、より効率的な3D基盤アーキテクチャの開発に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-11-07T17:38:01Z)
• REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
  reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。 ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。 高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
  論文  参考訳（メタデータ） (2025-10-06T02:48:13Z)
• ToMA: Token Merge with Attention for Diffusion Models [8.079656935981193]
  拡散モデルは高忠実度画像生成において優れるが、トランスフォーマーの二次的注意複雑さによる拡張性に限界がある。 本稿では,GPU整列効率のトークン削減を否定する市販のToMA(Token Merge with Attention)を提案する。 ToMAはSDXL/Flux生成遅延を24%/23%削減する(DINO $Delta 0.07$)。
  論文  参考訳（メタデータ） (2025-09-13T17:35:00Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• Rethinking Discrete Tokens: Treating Them as Conditions for Continuous Autoregressive Image Synthesis [79.98107530577576]
  DisConは、離散トークンを生成ターゲットではなく条件信号として再解釈する新しいフレームワークである。 DisConは、ImageNet 256$times $256 世代で gFID スコアが 1.38 に達し、最先端の自己回帰アプローチよりも明確なマージンで優れている。
  論文  参考訳（メタデータ） (2025-07-02T14:33:52Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference [17.947904697850433]
  バッチ推論とKeyValueキャッシュのためのトークンレベルの早期終了メソッドであるSkipDecodeを提案する。 これは、各シーケンス位置のバッチ内の各トークンに対して特異レベル出口を設定することで、以前の制約を克服する。 また、イグジットポイントの単調な減少を保証するため、前のトークンに対してKVキャッシュを再コンパイルする必要がなくなる。
  論文  参考訳（メタデータ） (2023-07-05T19:59:09Z)
• Token Dropping for Efficient BERT Pretraining [33.63507016806947]
  本研究では,変圧器モデルの事前学習を高速化する簡易かつ効果的な「トーケンドロップ」手法を開発した。 我々は既に組み込まれているマスキング言語モデリング(MLM)の損失を利用して、計算オーバーヘッドのない重要でないトークンを識別する。 この単純なアプローチは、BERTの事前トレーニングコストを25%削減し、標準の下流タスクで同様の微調整性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T17:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。