論文の概要: Refresh or Realize? Compute Allocation in Drifting Models

• arxiv url: http://arxiv.org/abs/2609.32298v1
• Date: Sat, 26 Sep 2026 06:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:00:17.812765
• Title: Refresh or Realize? Compute Allocation in Drifting Models
• Title（参考訳）: リフレッシュか実現か? ドリフトモデルにおける計算割当
• Abstract要約: トレーニングの問題として、現在の目標をより緊密に、あるいはフィールドを再計算するために、余分な計算を組み込まなければならないか、という問題について研究する。 より深い適合により、ネットワークは凍結したターゲットに近づき、トレーニングの早い段階では16段階から後で1段階に減る前に必要なステップの数が減少することがわかった。
• 参考スコア（独自算出の注目度）: 10.817564412089446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Drifting Models train a one-step generator by recomputing a finite-sample drift field at every iteration and taking an optimizer step toward the drifted target. The field says how generated samples should move, but the step is taken in parameters shared by all samples, so the motion the network actually makes need not match the motion it was given. This leaves a basic training question open: should extra compute go into fitting the current target more closely, or into recomputing the field? We study it on ImageNet 256x256. Holding the target fixed for k optimizer steps and measuring the realized displacement, we find that deeper fitting does bring the network closer to the frozen target, and that the number of steps needed before it makes any net progress drops from about sixteen early in training to one later on. When the extra steps come for free, k=2 also lowers FID. Once they are paid for, the result flips: at approximately matched measured wall-clock, spending the budget on fresh fields gives lower FID than deeper fitting, on both training seeds. The target itself shows why a fresh field is worth so much. Redrawing the finite support rotates its direction far more than a parameter update does (cosine ~0.3-0.6 against ~0.95), and a correction that is optimal in field space is not reliably better in FID than a parameter-free one. For Drifting, fitting each target well and spending compute well are different goals.
• Abstract（参考訳）: ドリフトモデルは、反復毎に有限サンプルドリフトフィールドを再計算し、ドリフトされたターゲットに向かって最適化するステップを踏むことで、ワンステップジェネレータを訓練する。 フィールドでは、生成されたサンプルがどのように動くべきかを述べていますが、ステップはすべてのサンプルが共有するパラメータで行われます。 余分な計算を現在の目標にもっと密接に適合させるべきか、あるいはフィールドを再計算すべきか? ImageNet 256x256について検討した。 目標を k 個の最適ステップに固定し,実際の変位を測定することで,ネットワークを凍結目標に近づけることができ,その前に必要となるステップの数が,トレーニングの早い段階で約 16 個からその後 1 個に減少することがわかった。 余分なステップが無料になると、k=2 も FID を下げる。 費用が支払われると、結果が逆転する: ほぼ一致したウォールタイムで、新鮮なフィールドに予算を費やすことで、両方のトレーニングシードに、より深いフィッティングよりも低いFIDが得られる。 ターゲットそのものは、なぜ新しいフィールドがそんなに価値があるのかを示しています。 有限サポートの再描画は、パラメータ更新よりもはるかにその方向を回転させる(コサイン ~0.3-0.6 対 ~0.95)。 Driftingでは、各ターゲットをうまく適合させ、計算をうまく使うことが目標です。

関連論文リスト

• An End-to-End Latent-Rollout Approach for Pushing Few-Step ImageNet-$256$ Generation to FID $1.11$ without Fréchet Losses [9.431422086533344]
  蒸留は教師の軌道に沿って選択された状態に教師力の回帰を適用する。 監督の強化は 敵意と補助的な 分類の目的に置き換わる ImageNetのクラス条件生成では,FID 1.11(IS 282)を3段階,FID 1.15(IS 280)を2段階で達成した。
  論文  参考訳（メタデータ） (2026-09-26T08:52:12Z)
• Event-Based Motion Estimation via Oriented Distance Fields [55.23416502666468]
  イベントベースの動き推定は、高時間分解能と高速動作に対する堅牢性を必要とするタスクの中心である。 本稿では,この最適化を,事前計算された事象距離ベクトルの場上の1つの平均ステップに置き換える,オブジェクト指向距離場運動推定(ODF Motion Estimation)を提案する。 公開および自己収集されたデータセットでは,ODFの動作推定は,比較手法の中で最低レイテンシでサブピクセル精度に達する。
  論文  参考訳（メタデータ） (2026-08-25T08:27:42Z)
• Self-Adversarial One Step Generation via Condition Shifting [11.426065945265647]
  APEXは、フローモデルから不均一に抽出された逆補正信号のフレームワークである。 私たちの0.6BモデルはFLUX-Schnell 12B(20$times$ more parameters)を1ステップ品質で上回ります。 Qwen-Image 20BのLoRAチューニングにより、APEXは6時間でNFE=1のGenEvalスコア0.89に達し、最初の50ステップの教師(0.87)を超え、15.33$times$推論スピードアップを提供する。
  論文  参考訳（メタデータ） (2026-04-14T05:54:33Z)
• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Retrosynthetic Planning with Dual Value Networks [107.97218669277913]
  我々は、PDVN(Planning with Dual Value Networks)と呼ばれる新しいオンライントレーニングアルゴリズムを提案する。 PDVNは計画段階と更新段階を交互に行い、分子の合成性とコストを予測する。 広く使われているUSPTOデータセットでは、PDVNアルゴリズムが既存のマルチステッププランナの探索成功率を改善する。
  論文  参考訳（メタデータ） (2023-01-31T16:43:53Z)
• Utilizing Synthetic Data in Supervised Learning for Robust 5-DoF Magnetic Marker Localization [24.478974451501113]
  受動的磁気マーカーの追跡は、医療やロボット工学の進歩において重要な役割を担い、システムの精度と効率を大幅に向上させる可能性がある。 伝統的に、繰り返し最適化手順を必要とするため、磁気マーカーの追跡は計算コストがかかる。 本稿では,これらの制限を回避し,マーカーの位置と向きを直接推定し,磁石の5DoFを正確に決定する,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-14T17:22:50Z)
• Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [134.83964935755964]
  ディープラーニングでは、異なる種類のディープネットワークは典型的に異なる補間を必要とし、複数のトライアル後に選択する必要がある。 本稿では,この問題を解消し,モデルトレーニング速度を継続的に改善するために,ADAtive Nesterov運動量変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-13T16:04:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。