論文の概要: How I learned to stop worrying and love StopGrads: Stationarity, Convergence, and a case study on Flow Map Learning

• arxiv url: http://arxiv.org/abs/2609.16222v1
• Date: Mon, 14 Sep 2026 18:51:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.181442
• Title: How I learned to stop worrying and love StopGrads: Stationarity, Convergence, and a case study on Flow Map Learning
• Title（参考訳）: StopGradsの心配と愛を止めるために学んだこと - 定常性、収束性、フローマップ学習のケーススタディ
• Abstract要約: 停止段階は機械学習モデルで広く使われているが、停止段階は元の目的の勾配、静止点、収束保証を変更することができる。 停止段階回帰原理を導入し、停止段階目標に対する一般的なテンプレートを識別する。 機能的半漸進流下では,学習フローマップは初期フローマップと真のフローマップを構成するクローズドフォーム式を持つことを示す。
• 参考スコア（独自算出の注目度）: 18.995344654004438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stopgrads are widely used in training machine learning models, but stopgrads can alter the gradient, stationary points and convergence guarantees of the original objective, which can make stopgrad training theoretically ungrounded. We introduce a stopgrad regression principle, which identifies a general template for stopgrad objectives with a closed-form characterization of stationary points and their uniqueness, unifying stopgrad objectives for flow maps, reinforcement learning, and diffusion samplers. We provide theoretical grounding for optimizing stopgrad flow map objectives by showing their unique stationary point is the true flow map, and showing positive convergence results for Eulerian and Lagrangian objectives, including MeanFlow and improved MeanFlow. Remarkably, we show that under functional semi-gradient flow, the learned flow map has a closed-form expression composing the initial flow map and the true flow map. We additionally use our stopgrad regression principle to propose modified stopgrad placements for flow map objectives which reduce training memory by 2x.
• Abstract（参考訳）: 停止段階は機械学習モデルのトレーニングで広く使用されているが、停止段階は元の目的の勾配、静止点、収束保証を変更することができ、理論上は停止段階のトレーニングを非基底化することができる。 本研究では,定常点とその特異点を閉形式に特徴づけたストップグレード対象の一般的なテンプレートを同定し,フローマップ,強化学習,拡散サンプリングのためのストップグレード対象の統一化を行う。 本研究では, 定常点が真のフローマップであることを示し, MeanFlow や改良された MeanFlow を含むユーレリアとラグランジュの目標に対して, 正の収束結果を示すことによって, ストップグレードフローマップの目的を最適化するための理論的基盤を提供する。 また, 関数型半漸進流下では, 学習フローマップは初期フローマップと真のフローマップを構成するクローズドフォーム式を持つことを示す。 また, 学習メモリを2倍に削減するフローマップの目的に対して, ストップグレードの回帰原理を改良したストップグレード配置を提案する。

関連論文リスト

• Flow Map Learning via Nongradient Vector Flow [22.985676782036904]
  拡散とフローベースのモデルは単純な回帰損失の恩恵を受けるが、サンプリングは統合を必要とするため、推論はかなりのオーバーヘッドを引き起こす。 モデル反復による明示的な可逆性制約や高価な微分を回避し,フローマップを学習するためのアプローチであるSGFlowを紹介する。
  論文  参考訳（メタデータ） (2026-07-29T02:17:27Z)
• Stabilizing, Scaling & Enhancing MeanFlow for Large-scale Diffusion Distillation [37.28053263183048]
  拡散モデルは顕著な生成能力を示すが、その高いレイテンシは実用的なデプロイメントを制限する。 MeanFlowはその簡潔な定式化と顕著なパフォーマンスのために、かなりの注目を集めている。 本稿では,MeanFlowの微分解を離散解に置き換えるウォームアップ手法を提案する。
  論文  参考訳（メタデータ） (2026-05-18T04:16:15Z)
• AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation [70.80207977907908]
  フローマップをベースとした,最初のノンステップビデオ拡散蒸留フレームワークであるAnyFlowを紹介した。 我々は、AnyFlowがいくつかの段階において、パフォーマンスの一致を達成するか、一貫性ベースの結果を上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:06:34Z)
• Categorical Flow Maps [42.309126712129384]
  カテゴリーフローマップ(Categorical Flow Map)は, 自己蒸留による数段階のカテゴリーデータ生成を高速化するフローマッチング手法である。 画像, 分子グラフ, テキストにおける最先端数ステップの結果を, 単一ステップ生成においても高い性能で達成する。
  論文  参考訳（メタデータ） (2026-02-12T18:10:46Z)
• Test-time scaling of diffusions with flow maps [68.79792714591564]
  テスト時の拡散モデルを改善するための一般的なレシピは、報酬の勾配を拡散そのものの力学に導入することである。 フローマップを直接扱うことで,簡単な解を提案する。 本研究では, 流図と流速場の関係を利用して, 従来のテスト時間法よりも精度の高いフローマップトラジェクトリ・ティルティング (FMTT) アルゴリズムを構築した。
  論文  参考訳（メタデータ） (2025-11-27T18:44:12Z)
• FlowSteer: Guiding Few-Step Image Synthesis with Authentic Trajectories [82.90132015584359]
  ReFlowはフローマッチングと理論的に整合性があるが、現実的なシナリオでは最適ではない。 本研究では,ReFlowをベースとした蒸留手法であるFlowSteerを提案する。
  論文  参考訳（メタデータ） (2025-11-24T07:13:23Z)
• ContinualFlow: Learning and Unlearning with Neural Flow Matching [13.628458744188325]
  本研究では、フローマッチングによる生成モデルにおける目標未学習のための原則的フレームワークであるContinualFlowを紹介する。 本手法では,スクラッチからのトレーニングやサンプルへの直接アクセスを必要とせずに,エネルギーによる再加重損失を利用して,データ分布の不要領域をソフトに減算する。
  論文  参考訳（メタデータ） (2025-06-23T15:20:58Z)
• Aligning Latent Spaces with Flow Priors [72.24305287508474]
  本稿では,学習可能な潜在空間を任意の目標分布に整合させるための新しいフレームワークを提案する。 特に,提案手法は計算コストの高い確率評価を排除し,最適化時のODE解決を回避する。
  論文  参考訳（メタデータ） (2025-06-05T16:59:53Z)
• How to build a consistency model: Learning flow maps via self-distillation [18.299322342860517]
  フローベース生成モデルは最先端のサンプルの品質を達成するが、推論時に微分方程式の高価な解を必要とする。 これらのモデルには、実際に効率的に学習する方法を明確に説明する統一的な記述がない。 本稿では,フローや拡散モデルに関連するフローマップを直接学習するための体系的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-24T18:50:50Z)
• Efficient Diversity-Preserving Diffusion Alignment via Gradient-Informed GFlowNets [65.42834731617226]
  そこで我々は,Nabla-GFlowNetと呼ばれる拡散モデルファインタニングのための強化学習手法を提案する。 提案手法は,大規模テキスト条件による画像拡散モデルである安定拡散の高速かつ多様かつ事前保存的な微調整を実現する。
  論文  参考訳（メタデータ） (2024-12-10T18:59:58Z)
• On Divergence Measures for Training GFlowNets [3.7277730514654555]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、構成可能なオブジェクト上の非正規分布のサンプルとして設計された、償却推論モデルである。 伝統的に、GFlowNetsのトレーニング手順は、提案(フォワードポリシー)とターゲット(バックポリシー)の分布の対数二乗差を最小限にすることを目指している。 我々は、Renyi-$alpha$'s, Tsallis-$alpha$'s, reverse and forward KL'sという4つの分岐測度を概観し、GFlowNetsの学習文脈における勾配に対する統計的に効率的な推定器を設計する。
  論文  参考訳（メタデータ） (2024-10-12T03:46:52Z)
• Unlearning-based Neural Interpretations [51.99182464831169]
  静的関数を用いて定義される現在のベースラインは、バイアスがあり、脆弱であり、操作可能であることを示す。 UNIは、学習不可能で、偏りがなく、適応的なベースラインを計算し、入力を最も急な上昇の未学習方向に向けて摂動させることを提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:02:39Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。