論文の概要: Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models
- arxiv url: http://arxiv.org/abs/2610.36192v1
- Date: Mon, 26 Oct 2026 19:24:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.411775
- Title: Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models
- Title（参考訳）: ウィナーインフォームド・デコーディングによるPixel-Space Flow Modelの訓練
- Abstract要約: Wiener-informed Decoding (WiD)は、直接予測とネイティブブロックを変更することなくデコーダを整理するために統計知識を使用する。
WiDはトレーニング可能なWiener予測パスと、ネイティブデコーダに特徴を注入し、予測された係数補正を返す係数を組み合わせる。
ImageNet 256 x 256では、500エポック後のPixelDiT-XLはFID 1.53に達し、37.5%のトレーニングエポックでPixelDiTに匹敵する品質を達成した。
- 参考スコア（独自算出の注目度）: 27.74892359424777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning velocity fields directly in pixel space is difficult and slow. We show that coarse second-order image statistics can ease this task: frozen Wiener estimates improve velocity learning, with gains extending beyond the linear predictions they explicitly provide. Moreover, we observe similar but complementary gains from frozen bases and pixel decoding. These observations motivate Wiener-informed Decoding (WiD), which uses statistical knowledge both for direct prediction and to organize decoder computation without modifying native blocks. WiD combines a trainable Wiener prediction path with coefficient interfaces that inject features into the native decoder and return its predicted coefficient corrections, with these components initialized with data statistics. All introduced parameters, including the spectrum and coordinate transforms, are trained jointly under the original pixel-space velocity objective. Across model scales and decoder architectures, WiD accelerates training and improves generation quality with modest parameter overhead. It also yields smoother gradient trajectories and remains effective with representation alignment. WiD improves class-conditional and text-to-image generation across different resolutions. On ImageNet 256 x 256, PixelDiT-XL with WiD reaches FID 1.53 after 500 epochs, achieving comparable quality to PixelDiT with 37.5% fewer training epochs. Statistical denoisers contribute beyond the estimate: their computational structure can also ease pixel-space training.
- Abstract（参考訳）: 画素空間における速度場を直接学習することは困難で遅い。
We show that coarse second-order image statistics can easier this task: frozen Wiener estimates improve velocity learning, with gains extends beyond the linear predictions。
さらに,凍結ベースと画素復号による類似しているが相補的なゲインを観察する。
これらの観測はWiener-informed Decoding (WiD) を動機付け、直接予測とデコーダ計算の編成の両方に統計知識を使用する。
WiDはトレーニング可能なWiener予測パスと係数インターフェースを組み合わせることで、ネイティブデコーダに特徴を注入し、予測された係数補正を返す。
スペクトルや座標変換を含む全ての導入パラメータは、元のピクセル空間速度目標の下で共同で訓練される。
モデルスケールとデコーダアーキテクチャ全体にわたって、WiDはトレーニングを加速し、控えめなパラメータオーバーヘッドで生成品質を改善する。
また、よりスムーズな勾配軌道も得られ、表示アライメントに有効である。
WiDは、異なる解像度でクラス条件とテキスト・ツー・イメージの生成を改善する。
ImageNet 256 x 256では、500エポック後のPixelDiT-XLはFID 1.53に達し、37.5%のトレーニングエポックでPixelDiTに匹敵する品質を達成した。
その計算構造は、ピクセル空間のトレーニングを容易にすることもできる。
関連論文リスト
- Dino Forcing Flow Models: Do not denoise what you can predict [43.75072807799359]
DINOのような事前訓練された表現を共用することで、フローマッチングモデルのトレーニング速度と品質を大幅に向上させることができる。
そこで我々は,事前学習した表現を直接予測し,モデルに独自の予測を与えるという,より単純な方法を提案する。
提案手法はFIDスコアによって測定され, より高速に収束し, 生成品質が向上する。
論文 参考訳（メタデータ） (2026-10-08T11:41:13Z) - Rethinking Pixel Mean Flows via Interval Denoiser [95.11499828543344]
潜在自由生成のためのフレームワークであるInterval Denoiserを提案する。
その結果,FIDは1ステップ (1-NFE) で4.55, 2ステップ (2-NFE) で3.98であった。
論文 参考訳（メタデータ） (2026-08-05T13:22:43Z) - Towards Scalable Pre-training of Visual Tokenizers for Generation [41.785568766118594]
本稿では、画像テキストのコントラスト、自己監督、再構成の損失を共同で最適化する一貫した視覚トークン化前訓練フレームワークを提案する。
大規模プレトレーニング後, トークン化装置は, 画像ネット上で78.2ゼロショット精度と0.36rFID) と4.1倍のコンバージェンスを実現した。
論文 参考訳（メタデータ） (2025-12-15T18:59:54Z) - VoxelOpt: Voxel-Adaptive Message Passing for Discrete Optimization in Deformable Abdominal CT Registration [15.78340001680369]
離散最適化に基づく変形可能な画像登録フレームワークであるVoxelOptを提案する。
学習ベースの長所と反復的手法を組み合わせて、登録精度と実行時のバランスを改善する。
腹部CTの登録では、これらの変更により、VoxelOptは、ラベルの監督によって訓練された最先端の学習ベースの手法と一致しながら、効率と正確性の両方において、リード反復性を上回っている。
論文 参考訳（メタデータ） (2025-06-24T19:44:04Z) - Speedy MASt3R [68.47052557089631]
MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。
高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。
この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
論文 参考訳（メタデータ） (2025-03-13T03:56:22Z) - WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳（メタデータ） (2024-07-18T11:51:01Z) - LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。
本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。
LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文 参考訳（メタデータ） (2024-07-13T16:09:45Z) - Augmenting Deep Learning Adaptation for Wearable Sensor Data through
Combined Temporal-Frequency Image Encoding [4.458210211781739]
本稿では、時間領域情報と周波数領域情報をシームレスに統合した、新しい修正繰り返しプロットベースの画像表現を提案する。
加速度センサを用いた活動認識データと事前訓練されたResNetモデルを用いて提案手法の評価を行い,既存の手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-03T09:29:27Z) - Spatiotemporal Attention-based Semantic Compression for Real-time Video
Recognition [117.98023585449808]
本稿では,各フレームにおけるフレームと画素の重要性を評価するために,時間的注意に基づくオートエンコーダ(STAE)アーキテクチャを提案する。
我々は3D-2D CNNを組み合わせた軽量デコーダを開発し、欠落した情報を再構成する。
実験の結果,VT_STAEはビデオデータセットH51を,5%の精度で104倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2023-05-22T07:47:27Z) - In Defense of Image Pre-Training for Spatiotemporal Recognition [32.56468478601864]
画像事前学習を効果的に活用する鍵は、空間的特徴と時間的特徴の学習の分解にある。
新しいパイプラインは、大きなスピードアップを伴うビデオ認識において、常により良い結果を達成する。
論文 参考訳（メタデータ） (2022-05-03T18:45:44Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。