論文の概要: Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models

• arxiv url: http://arxiv.org/abs/2508.09968v1
• Date: Wed, 13 Aug 2025 17:33:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.980186
• Title: Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models
• Title（参考訳）: ノイズハイパーネット:拡散モデルにおけるテスト時間計算の記憶
• Authors: Luca Eyring, Shyamgopal Karthik, Alexey Dosovitskiy, Nataniel Ruiz, Zeynep Akata,
• Abstract要約: テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。 本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。 拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
• 参考スコア（独自算出の注目度）: 57.49136894315871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The new paradigm of test-time scaling has yielded remarkable breakthroughs in Large Language Models (LLMs) (e.g. reasoning models) and in generative vision models, allowing models to allocate additional computation during inference to effectively tackle increasingly complex problems. Despite the improvements of this approach, an important limitation emerges: the substantial increase in computation time makes the process slow and impractical for many applications. Given the success of this paradigm and its growing usage, we seek to preserve its benefits while eschewing the inference overhead. In this work we propose one solution to the critical problem of integrating test-time scaling knowledge into a model during post-training. Specifically, we replace reward guided test-time noise optimization in diffusion models with a Noise Hypernetwork that modulates initial input noise. We propose a theoretically grounded framework for learning this reward-tilted distribution for distilled generators, through a tractable noise-space objective that maintains fidelity to the base model while optimizing for desired characteristics. We show that our approach recovers a substantial portion of the quality gains from explicit test-time optimization at a fraction of the computational cost. Code is available at https://github.com/ExplainableML/HyperNoise
• Abstract（参考訳）: 新しいテストタイムスケーリングのパラダイムは、Large Language Models(LLM)やジェネレーティブビジョンモデルにおいて驚くべきブレークスルーをもたらし、推論中に追加の計算を割り当てることで、ますます複雑な問題に効果的に対処することができる。 計算時間の大幅な増加により、多くのアプリケーションにおいてプロセスが遅く、実用的ではない。 このパラダイムの成功と使用量の増加を踏まえ、推論のオーバーヘッドを抑えながら、そのメリットを保とうとしています。 本研究では,テスト時間スケーリングの知識をモデルに組み込む上で重要な問題に対する1つの解決策を提案する。 具体的には、拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導テスト時ノイズ最適化を置き換える。 提案手法は, 所望の特性を最適化しつつ, 基本モデルに忠実さを保ちながら, トラクタブルノイズ空間を目標とし, 蒸留機に対する報奨型分布を学習するための理論的基盤となる枠組みである。 提案手法は,計算コストのごく一部で,明示的なテスト時間最適化から品質向上のかなりの部分を回復することを示す。 コードはhttps://github.com/ExplainableML/HyperNoiseで入手できる。

関連論文リスト

• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Handling Label Noise via Instance-Level Difficulty Modeling and Dynamic Optimization [33.13911801301048]
  ディープニューラルネットワークは、ノイズの多い監視の下で一般化性能が低下する。 既存のメソッドでは、クリーンなサブセットの分離やノイズのあるラベルの修正に重点を置いている。 本稿では,インスタンスレベルの最適化が可能な新しい2段階雑音学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T19:12:58Z)
• Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
  グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T07:48:14Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• The Missing U for Efficient Diffusion Models [3.712196074875643]
  拡散確率モデル(Diffusion Probabilistic Models)は、画像合成、ビデオ生成、分子設計などのタスクにおいて、記録破りのパフォーマンスをもたらす。 それらの能力にもかかわらず、その効率、特に逆過程では、収束速度が遅いことと計算コストが高いため、依然として課題である。 本研究では,連続力学系を利用した拡散モデルのための新しいデノナイジングネットワークの設計手法を提案する。
  論文  参考訳（メタデータ） (2023-10-31T00:12:14Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。