論文の概要: TAP: A Token-Adaptive Predictor Framework for Training-Free Diffusion Acceleration
- arxiv url: http://arxiv.org/abs/2603.03792v1
- Date: Wed, 04 Mar 2026 07:10:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-05 21:29:15.213308
- Title: TAP: A Token-Adaptive Predictor Framework for Training-Free Diffusion Acceleration
- Title(参考訳): TAP: 学習自由拡散加速のためのToken-Adaptive Predictor Framework
- Authors: Haowei Zhu, Tingxuan Huang, Xing Wang, Tianyu Zhao, Jiexi Wang, Weifeng Chen, Xurui Peng, Fangmin Chen, Junhai Yong, Bin Wang,
- Abstract要約: Token-Adaptive Predictor (TAP)は、トレーニング不要でプローブ駆動のフレームワークで、サンプリングステップ毎に各トークンの予測子を適応的に選択する。
TAPは無視可能なオーバーヘッドを発生させ、知覚的な品質損失をほとんど、あるいは全くなく、大きなスピードアップを可能にします。
- 参考スコア(独自算出の注目度): 19.18455910385295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models achieve strong generative performance but remain slow at inference due to the need for repeated full-model denoising passes. We present Token-Adaptive Predictor (TAP), a training-free, probe-driven framework that adaptively selects a predictor for each token at every sampling step. TAP uses a single full evaluation of the model's first layer as a low-cost probe to compute proxy losses for a compact family of candidate predictors (instantiated primarily with Taylor expansions of varying order and horizon), then assigns each token the predictor with the smallest proxy error. This per-token "probe-then-select" strategy exploits heterogeneous temporal dynamics, requires no additional training, and is compatible with various predictor designs. TAP incurs negligible overhead while enabling large speedups with little or no perceptual quality loss. Extensive experiments across multiple diffusion architectures and generation tasks show that TAP substantially improves the accuracy-efficiency frontier compared to fixed global predictors and caching-only baselines.
- Abstract(参考訳): 拡散モデルは高い生成性能を達成するが、連続したフルモデルデノナイジングパスを必要とするため、推論は遅いままである。
Token-Adaptive Predictor (TAP) は、トレーニング不要でプローブ駆動のフレームワークで、サンプリングステップ毎に各トークンの予測子を適応的に選択する。
TAPは、モデル第1層の完全な評価を低コストのプローブとして使用し、候補予測器のコンパクトなファミリー(主に順序と水平のテイラー展開で実証)のプロキシ損失を計算し、各トークンに最小のプロキシエラーを割り当てる。
この"probe-then-select"戦略は異種時間力学を利用しており、追加のトレーニングを必要とせず、様々な予測器の設計と互換性がある。
TAPは無視可能なオーバーヘッドを発生させ、知覚的な品質損失をほとんど、あるいは全くなく、大きなスピードアップを可能にします。
複数の拡散アーキテクチャや生成タスクにわたる大規模な実験により、TAPは固定されたグローバル予測器やキャッシングのみのベースラインに比べて精度と効率のフロンティアを大幅に改善することが示された。
関連論文リスト
- Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。
FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。
FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
論文 参考訳(メタデータ) (2026-02-28T05:41:57Z) - Amortized Predictability-aware Training Framework for Time Series Forecasting and Classification [10.816479922364097]
時系列予測 (TSF) と時系列分類 (TSC) の双方に対して, 一般的なアモータイズ予測可能性を考慮したトレーニングフレームワーク (APTF) を提案する。
APTFは2つの重要な設計を導入し、予測可能性の低いモデルから適切な学習をしながら、モデルが高い予測可能性のサンプルに集中できるようにする。
論文 参考訳(メタデータ) (2026-02-18T06:59:05Z) - Temporal Pair Consistency for Variance-Reduced Flow Matching [13.328987133593154]
TPC(Temporal Pair Consistency)は、同じ確率経路に沿ってペア化された時間ステップで速度予測を結合する軽量な分散還元原理である。
フローマッチング内で確立されたTPCは、複数の解像度でCIFAR-10とImageNetのサンプル品質と効率を改善する。
論文 参考訳(メタデータ) (2026-02-04T00:05:21Z) - Controllable Probabilistic Forecasting with Stochastic Decomposition Layers [1.3995263206621]
本稿では、決定論的機械学習気象モデルをアンサンブルシステムに変換するための分解層(SDL)を提案する。
SDLは3つのデコーダスケールでの学習摂動を、潜在駆動変調、画素ごとのノイズ、チャネルスケーリングを通じて適用する。
転送学習を通じてWXFormerに適用する場合、SDLはベースラインモデルをトレーニングするために必要な計算コストの2%未満を必要とする。
論文 参考訳(メタデータ) (2025-12-21T17:10:00Z) - SPREAD: Sampling-based Pareto front Refinement via Efficient Adaptive Diffusion [0.8594140167290097]
SPREADは拡散確率モデル(DDPM)に基づく生成フレームワークである
決定空間からサンプリングされた点上の条件拡散過程を学習する。
適応的多重勾配降下インスパイアされた更新を高速収束に利用するサンプリングスキームにより、候補を洗練する。
論文 参考訳(メタデータ) (2025-09-25T12:09:37Z) - Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。
拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。
我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
論文 参考訳(メタデータ) (2025-01-22T18:52:06Z) - Adaptive Sampling to Reduce Epistemic Uncertainty Using Prediction Interval-Generation Neural Networks [0.0]
本稿では,予測モデルにおけるてんかんの不確実性を低減するための適応サンプリング手法を提案する。
我々の主な貢献は、潜在的なてんかんの不確実性を推定する計量の開発である。
ガウス過程(GP)に基づくバッチサンプリング戦略も提案する。
本研究では, 実験肥料の施肥率を選択するために, 3つの一次元合成問題と, 農業分野に基づく多次元データセットについて検討した。
論文 参考訳(メタデータ) (2024-12-13T21:21:47Z) - Informed Correctors for Discrete Diffusion Models [27.295990499157814]
離散拡散モデルに対する予測・相関型サンプリング手法を提案する。
情報補正器は,誤差が少なく,FIDスコアが向上した優れたサンプルを連続的に生成することを示す。
本結果は,離散拡散を用いた高速かつ高忠実な生成のための情報補正器の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2024-07-30T23:29:29Z) - An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。
側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。
我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
論文 参考訳(メタデータ) (2024-02-12T22:32:12Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。
提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
論文 参考訳(メタデータ) (2020-06-07T13:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。