論文の概要: Precise Knowledge Transfer via Flow Matching

• arxiv url: http://arxiv.org/abs/2402.02012v1
• Date: Sat, 3 Feb 2024 03:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:50:04.276458
• Title: Precise Knowledge Transfer via Flow Matching
• Title（参考訳）: フローマッチングによる精密知識伝達
• Authors: Shitong Shao, Zhiqiang Shen, Linrui Gong, Huanran Chen, Xu Dai
• Abstract要約: 我々はこのフレームワークをフローマッチングを用いた知識伝達(FM-KT)と呼ぶ。 FM-KTは任意の形態(バニラKD、DKD、PKD、DISTなど)のメートル法に基づく蒸留法と統合することができる。 提案手法のスケーラビリティと最先端性能を,関連する比較手法で実証的に検証した。
• 参考スコア（独自算出の注目度）: 24.772381404849174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel knowledge transfer framework that introduces continuous normalizing flows for progressive knowledge transformation and leverages multi-step sampling strategies to achieve precision knowledge transfer. We name this framework Knowledge Transfer with Flow Matching (FM-KT), which can be integrated with a metric-based distillation method with any form (\textit{e.g.} vanilla KD, DKD, PKD and DIST) and a meta-encoder with any available architecture (\textit{e.g.} CNN, MLP and Transformer). By introducing stochastic interpolants, FM-KD is readily amenable to arbitrary noise schedules (\textit{e.g.}, VP-ODE, VE-ODE, Rectified flow) for normalized flow path estimation. We theoretically demonstrate that the training objective of FM-KT is equivalent to minimizing the upper bound of the teacher feature map or logit negative log-likelihood. Besides, FM-KT can be viewed as a unique implicit ensemble method that leads to performance gains. By slightly modifying the FM-KT framework, FM-KT can also be transformed into an online distillation framework OFM-KT with desirable performance gains. Through extensive experiments on CIFAR-100, ImageNet-1k, and MS-COCO datasets, we empirically validate the scalability and state-of-the-art performance of our proposed methods among relevant comparison approaches.
• Abstract（参考訳）: 本稿では,進化的知識変換のための連続正規化フローを導入し,多段階サンプリング手法を活用して精度の高い知識伝達を実現する新しい知識伝達フレームワークを提案する。 我々は,このフレームワークを知識伝達とフローマッチング (FM-KT) と命名し,任意の形態 (\textit{e.g.} vanilla KD, DKD, PKD, DIST) と,利用可能なアーキテクチャ (\textit{e.g.} CNN, MLP, Transformer) を備えたメタエンコーダと組み合わせることができる。 確率補間器を導入することにより、FM-KDは任意のノイズスケジュール(\textit{e.g.}, VP-ODE, VE-ODE, Rectified flow)に容易に対応し、正規化された流れ経路推定を行う。 FM-KTの学習目的は,教師の特徴マップや対数負の対数関係の上限を最小化することと等価であることを示す。 さらにFM-KTは、パフォーマンス向上につながるユニークな暗黙のアンサンブルメソッドと見なすことができる。 FM-KTフレームワークをわずかに修正することで、FM-KTをオンライン蒸留フレームワークOFM-KTに変換することができる。 CIFAR-100、ImageNet-1k、MS-COCOデータセットに関する広範な実験を通じて、提案手法のスケーラビリティと最先端性能を、関連する比較手法で実証的に検証した。

関連論文リスト

• Local Flow Matching Generative Models [19.859984725284896]
  フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。 FMサブモデルのシーケンスを学習し,それぞれがデータ-雑音方向のステップサイズまで拡散過程と一致するローカルフローマッチング(LFM)を導入する。 実験では, FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証した。
  論文  参考訳（メタデータ） (2024-10-03T14:53:10Z)
• Stream-level flow matching from a Bayesian decision theoretic perspective [4.935875591615496]
  フローマッチング(英: Flow matching, FM)は、連続正規化フロー(CNF)を適合させる訓練アルゴリズムの一群である。 我々は,パラメータ推定におけるベイズ決定論的な視点からCFMトレーニングを観ることによって,CFMアルゴリズムの一般化への扉を開くことを示す。
  論文  参考訳（メタデータ） (2024-09-30T15:47:22Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• Markovian Flow Matching: Accelerating MCMC with Continuous Normalizing Flows [2.2530496464901106]
  連続正規化フロー(CNF)は、ニューラルネットワークを用いて前記経路を生成するベクトル場をモデル化することにより、基準分布と目標分布の間の確率経路を学習する。 近年,Lipman et al. (2022) は生成モデルにおけるCNFsの簡易かつ安価な学習法であるフローマッチング (FM) を導入した。 本稿では,この手法をマルコフサンプリング法をFM目標評価に応用し,学習したCNFを用いてモンテカルロサンプリングを改善することにより,確率的推論に再利用する。
  論文  参考訳（メタデータ） (2024-05-23T10:08:19Z)
• Optimal Flow Matching: Learning Straight Trajectories in Just One Step [89.37027530300617]
  我々は,新しいtextbf Optimal Flow Matching (OFM) アプローチを開発し,理論的に正当化する。 これは2次輸送のための直列のOT変位をFMの1ステップで回復することを可能にする。 提案手法の主な考え方は,凸関数によってパラメータ化されるFMのベクトル場の利用である。
  論文  参考訳（メタデータ） (2024-03-19T19:44:54Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
  本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。 このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
  論文  参考訳（メタデータ） (2020-11-10T09:53:20Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。