論文の概要: High-Performance Self-Supervised Learning by Joint Training of Flow Matching

• arxiv url: http://arxiv.org/abs/2512.19729v1
• Date: Wed, 17 Dec 2025 06:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.601728
• Title: High-Performance Self-Supervised Learning by Joint Training of Flow Matching
• Title（参考訳）: フローマッチングの連成学習による高性能自己監督学習
• Authors: Kosuke Ukita, Tsuyoshi Okita,
• Abstract要約: フローマッチングに基づく基礎モデル(FlowFM) FlowFMは拡散ベースのアプローチに比べてトレーニング時間を50.4%削減する。 ダウンストリームタスクでは、FlowFMが5つのデータセットすべてで最先端のSSLメソッド(SSL-Wearables)を上回った。
• 参考スコア（独自算出の注目度）: 1.8659515282266286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models can learn rich representations during data generation, showing potential for Self-Supervised Learning (SSL), but they face a trade-off between generative quality and discriminative performance. Their iterative sampling also incurs substantial computational and energy costs, hindering industrial and edge AI applications. To address these issues, we propose the Flow Matching-based Foundation Model (FlowFM), which jointly trains a representation encoder and a conditional flow matching generator. This decoupled design achieves both high-fidelity generation and effective recognition. By using flow matching to learn a simpler velocity field, FlowFM accelerates and stabilizes training, improving its efficiency for representation learning. Experiments on wearable sensor data show FlowFM reduces training time by 50.4\% compared to a diffusion-based approach. On downstream tasks, FlowFM surpassed the state-of-the-art SSL method (SSL-Wearables) on all five datasets while achieving up to a 51.0x inference speedup and maintaining high generative quality. The implementation code is available at https://github.com/Okita-Laboratory/jointOptimizationFlowMatching.
• Abstract（参考訳）: 拡散モデルは、データ生成中に豊かな表現を学習し、自己監視学習(SSL)の可能性を示すが、生成的品質と識別的パフォーマンスのトレードオフに直面している。 彼らの反復サンプリングは、産業やエッジAIの応用を妨げる、相当な計算とエネルギーのコストも引き起こす。 これらの問題に対処するために,表現エンコーダと条件付きフローマッチング生成器を共同で訓練するFlow Matching-based Foundation Model (FlowFM)を提案する。 この分離された設計は、高忠実度生成と効果的な認識の両方を達成する。 フローマッチングを用いてより単純な速度場を学習することにより、FlowFMはトレーニングを加速し、安定化し、表現学習の効率を向上させる。 ウェアラブルセンサーデータの実験では、FlowFMは拡散ベースのアプローチと比較してトレーニング時間を50.4倍に短縮している。 ダウンストリームタスクでは、FlowFMは5つのデータセットすべてで最先端のSSLメソッド(SSL-Wearables)を上回り、最大51.0倍の推論スピードアップを実現し、高い生成品質を維持した。 実装コードはhttps://github.com/Okita-Laboratory/jointOptimizationFlowMatchingで公開されている。

関連論文リスト

• Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
  Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。 推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
  論文  参考訳（メタデータ） (2026-02-12T18:54:57Z)
• SoFlow: Solution Flow Models for One-Step Generative Modeling [10.054000663262618]
  Flow Models (SoFlow)は、一段階生成をスクラッチから行うためのフレームワークである。 フローマッチングの損失により、トレーニング中に推定速度場を提供できる。 我々のモデルは、ImageNet 256x256データセット上のMeanFlowモデルよりも優れたFID-50Kスコアを達成する。
  論文  参考訳（メタデータ） (2025-12-17T18:10:17Z)
• MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
  MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。 我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
  論文  参考訳（メタデータ） (2025-11-17T06:17:08Z)
• Compose Yourself: Average-Velocity Flow Matching for One-Step Speech Enhancement [46.23750572308065]
  COSEは音声強調に適した一段階FMフレームワークである。 平均速度を効率的に計算するための速度合成IDを導入する。 実験によると、COSEはサンプリングを最大5倍速くし、トレーニングコストを40%削減する。
  論文  参考訳（メタデータ） (2025-09-19T13:07:39Z)
• FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
  FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。 非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。 条件設定では、太陽予測において優れた性能を達成している。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Local Flow Matching Generative Models [19.859984725284896]
  フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。 FMサブモデルのシーケンスを連続的に学習するLFM(Local Flow Matching)と呼ばれるステップワイズFMモデルを提案する。 FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-03T14:53:10Z)
• PiRD: Physics-informed Residual Diffusion for Flow Field Reconstruction [5.06136344261226]
  データ忠実度向上のためのCNNベースの手法は、トレーニング期間中の低忠実度データパターンと分布に依存している。 提案したモデルである物理インフォームド残差拡散(Residual Diffusion)は、標準の低忠実度入力からデータの品質を高める能力を示す。 実験結果から, 2次元乱流に対して, 再学習を必要とせず, 高品質な流れを効果的に再現できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-12T11:45:51Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse [49.1501082763252]
  本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。 動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。 そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。 ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-11-07T04:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。