論文の概要: MFI-ResNet: Efficient ResNet Architecture Optimization via MeanFlow Compression and Selective Incubation
- arxiv url: http://arxiv.org/abs/2511.12422v1
- Date: Sun, 16 Nov 2025 02:33:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:24.083674
- Title: MFI-ResNet: Efficient ResNet Architecture Optimization via MeanFlow Compression and Selective Incubation
- Title(参考訳): MFI-ResNet: 平均フロー圧縮と選択インキュベーションによる効率的なResNetアーキテクチャ最適化
- Authors: Nuolin Sun, Linyuan Wang, Haonan Wei, Lei Li, Bin Yan,
- Abstract要約: MeanFlow-Incubated ResNetはパラメータ効率と識別性能を改善している。
MFI-ResNetは、ResNet-50と比較してパラメータを46.28%、45.59%削減し、精度は0.23%、0.17%向上した。
- 参考スコア(独自算出の注目度): 7.158376693956831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ResNet has achieved tremendous success in computer vision through its residual connection mechanism. ResNet can be viewed as a discretized form of ordinary differential equations (ODEs). From this perspective, the multiple residual blocks within a single ResNet stage essentially perform multi-step discrete iterations of the feature transformation for that stage. The recently proposed flow matching model, MeanFlow, enables one-step generative modeling by learning the mean velocity field to transform distributions. Inspired by this, we propose MeanFlow-Incubated ResNet (MFI-ResNet), which employs a compression-expansion strategy to jointly improve parameter efficiency and discriminative performance. In the compression phase, we simplify the multi-layer structure within each ResNet stage to one or two MeanFlow modules to construct a lightweight meta model. In the expansion phase, we apply a selective incubation strategy to the first three stages, expanding them to match the residual block configuration of the baseline ResNet model, while keeping the last stage in MeanFlow form, and fine-tune the incubated model. Experimental results show that on CIFAR-10 and CIFAR-100 datasets, MFI-ResNet achieves remarkable parameter efficiency, reducing parameters by 46.28% and 45.59% compared to ResNet-50, while still improving accuracy by 0.23% and 0.17%, respectively. This demonstrates that generative flow-fields can effectively characterize the feature transformation process in ResNet, providing a new perspective for understanding the relationship between generative modeling and discriminative learning.
- Abstract(参考訳): ResNetはその残差接続機構を通じてコンピュータビジョンにおいて大きな成功を収めた。
ResNet は通常の微分方程式(ODE)の離散形式と見なすことができる。
この観点では、単一のResNetステージ内の複数の残留ブロックは、本質的に、そのステージの機能変換の複数ステップの離散イテレーションを実行します。
最近提案されたフローマッチングモデルであるMeanFlowは,平均速度場を学習して分布を変換することで,一段階の生成モデリングを可能にする。
そこで本研究では,パラメータ効率と識別性能を協調的に向上する圧縮拡張戦略を用いたMeanFlow-Incubated ResNet(MFI-ResNet)を提案する。
圧縮フェーズでは、ResNetの各ステージ内の多層構造を1つか2つのMeanFlowモジュールに単純化し、軽量なメタモデルを構築する。
拡張フェーズでは,第1段階に選択的インキュベーション戦略を適用し,ベースラインResNetモデルの残留ブロック構成に適合するように拡張し,最終段階をMeanFlow形式で保持し,インキュベーションモデルを微調整する。
CIFAR-10とCIFAR-100データセットでは、MFI-ResNetは、ResNet-50と比較してパラメータを46.28%、45.59%削減し、精度は0.23%、0.17%向上した。
このことは、生成フローフィールドがResNetの機能変換プロセスを効果的に特徴づけることを示し、生成モデリングと識別学習の関係を理解するための新しい視点を提供する。
関連論文リスト
- A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。
本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
論文 参考訳(メタデータ) (2024-05-31T21:47:05Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:37:47Z) - Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
論文 参考訳(メタデータ) (2023-01-26T12:32:01Z) - Normalizing flow neural networks by JKO scheme [22.320632565424745]
我々はJKO-iFlowと呼ばれるニューラルネットワークを開発し、Jordan-Kinderleherer-Ottoスキームに触発された。
提案手法は,残余ブロックを次々と積み重ねることにより,残余ブロックの効率的なブロックワイズ訓練を可能にする。
合成および実データを用いた実験により,提案したJKO-iFlowネットワークが競合性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-12-29T18:55:00Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。