論文の概要: High-Performance Self-Supervised Learning by Joint Training of Flow Matching

• arxiv url: http://arxiv.org/abs/2512.19729v1
• Date: Wed, 17 Dec 2025 06:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.601728
• Title: High-Performance Self-Supervised Learning by Joint Training of Flow Matching
• Title（参考訳）: フローマッチングの連成学習による高性能自己監督学習
• Authors: Kosuke Ukita, Tsuyoshi Okita,
• Abstract要約: フローマッチングに基づく基礎モデル(FlowFM) FlowFMは拡散ベースのアプローチに比べてトレーニング時間を50.4%削減する。 ダウンストリームタスクでは、FlowFMが5つのデータセットすべてで最先端のSSLメソッド(SSL-Wearables)を上回った。
• 参考スコア（独自算出の注目度）: 1.8659515282266286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models can learn rich representations during data generation, showing potential for Self-Supervised Learning (SSL), but they face a trade-off between generative quality and discriminative performance. Their iterative sampling also incurs substantial computational and energy costs, hindering industrial and edge AI applications. To address these issues, we propose the Flow Matching-based Foundation Model (FlowFM), which jointly trains a representation encoder and a conditional flow matching generator. This decoupled design achieves both high-fidelity generation and effective recognition. By using flow matching to learn a simpler velocity field, FlowFM accelerates and stabilizes training, improving its efficiency for representation learning. Experiments on wearable sensor data show FlowFM reduces training time by 50.4\% compared to a diffusion-based approach. On downstream tasks, FlowFM surpassed the state-of-the-art SSL method (SSL-Wearables) on all five datasets while achieving up to a 51.0x inference speedup and maintaining high generative quality. The implementation code is available at https://github.com/Okita-Laboratory/jointOptimizationFlowMatching.
• Abstract（参考訳）: 拡散モデルは、データ生成中に豊かな表現を学習し、自己監視学習(SSL)の可能性を示すが、生成的品質と識別的パフォーマンスのトレードオフに直面している。 彼らの反復サンプリングは、産業やエッジAIの応用を妨げる、相当な計算とエネルギーのコストも引き起こす。 これらの問題に対処するために,表現エンコーダと条件付きフローマッチング生成器を共同で訓練するFlow Matching-based Foundation Model (FlowFM)を提案する。 この分離された設計は、高忠実度生成と効果的な認識の両方を達成する。 フローマッチングを用いてより単純な速度場を学習することにより、FlowFMはトレーニングを加速し、安定化し、表現学習の効率を向上させる。 ウェアラブルセンサーデータの実験では、FlowFMは拡散ベースのアプローチと比較してトレーニング時間を50.4倍に短縮している。 ダウンストリームタスクでは、FlowFMは5つのデータセットすべてで最先端のSSLメソッド(SSL-Wearables)を上回り、最大51.0倍の推論スピードアップを実現し、高い生成品質を維持した。 実装コードはhttps://github.com/Okita-Laboratory/jointOptimizationFlowMatchingで公開されている。

関連論文リスト

• Compose Yourself: Average-Velocity Flow Matching for One-Step Speech Enhancement [46.23750572308065]
  COSEは音声強調に適した一段階FMフレームワークである。 平均速度を効率的に計算するための速度合成IDを導入する。 実験によると、COSEはサンプリングを最大5倍速くし、トレーニングコストを40%削減する。
  論文  参考訳（メタデータ） (2025-09-19T13:07:39Z)
• FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
  FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。 非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。 条件設定では、太陽予測において優れた性能を達成している。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Local Flow Matching Generative Models [19.859984725284896]
  フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。 FMサブモデルのシーケンスを連続的に学習するLFM(Local Flow Matching)と呼ばれるステップワイズFMモデルを提案する。 FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-03T14:53:10Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse [49.1501082763252]
  本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。 動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。 そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。 ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-11-07T04:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。