論文の概要: MFI-ResNet: Efficient ResNet Architecture Optimization via MeanFlow Compression and Selective Incubation
- arxiv url: http://arxiv.org/abs/2511.12422v1
- Date: Sun, 16 Nov 2025 02:33:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:24.083674
- Title: MFI-ResNet: Efficient ResNet Architecture Optimization via MeanFlow Compression and Selective Incubation
- Title（参考訳）: MFI-ResNet: 平均フロー圧縮と選択インキュベーションによる効率的なResNetアーキテクチャ最適化
- Authors: Nuolin Sun, Linyuan Wang, Haonan Wei, Lei Li, Bin Yan,
- Abstract要約: MeanFlow-Incubated ResNetはパラメータ効率と識別性能を改善している。
MFI-ResNetは、ResNet-50と比較してパラメータを46.28%、45.59%削減し、精度は0.23%、0.17%向上した。
- 参考スコア（独自算出の注目度）: 7.158376693956831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ResNet has achieved tremendous success in computer vision through its residual connection mechanism. ResNet can be viewed as a discretized form of ordinary differential equations (ODEs). From this perspective, the multiple residual blocks within a single ResNet stage essentially perform multi-step discrete iterations of the feature transformation for that stage. The recently proposed flow matching model, MeanFlow, enables one-step generative modeling by learning the mean velocity field to transform distributions. Inspired by this, we propose MeanFlow-Incubated ResNet (MFI-ResNet), which employs a compression-expansion strategy to jointly improve parameter efficiency and discriminative performance. In the compression phase, we simplify the multi-layer structure within each ResNet stage to one or two MeanFlow modules to construct a lightweight meta model. In the expansion phase, we apply a selective incubation strategy to the first three stages, expanding them to match the residual block configuration of the baseline ResNet model, while keeping the last stage in MeanFlow form, and fine-tune the incubated model. Experimental results show that on CIFAR-10 and CIFAR-100 datasets, MFI-ResNet achieves remarkable parameter efficiency, reducing parameters by 46.28% and 45.59% compared to ResNet-50, while still improving accuracy by 0.23% and 0.17%, respectively. This demonstrates that generative flow-fields can effectively characterize the feature transformation process in ResNet, providing a new perspective for understanding the relationship between generative modeling and discriminative learning.
- Abstract（参考訳）: ResNetはその残差接続機構を通じてコンピュータビジョンにおいて大きな成功を収めた。
ResNet は通常の微分方程式(ODE)の離散形式と見なすことができる。
この観点では、単一のResNetステージ内の複数の残留ブロックは、本質的に、そのステージの機能変換の複数ステップの離散イテレーションを実行します。
最近提案されたフローマッチングモデルであるMeanFlowは,平均速度場を学習して分布を変換することで,一段階の生成モデリングを可能にする。
そこで本研究では,パラメータ効率と識別性能を協調的に向上する圧縮拡張戦略を用いたMeanFlow-Incubated ResNet(MFI-ResNet)を提案する。
圧縮フェーズでは、ResNetの各ステージ内の多層構造を1つか2つのMeanFlowモジュールに単純化し、軽量なメタモデルを構築する。
拡張フェーズでは,第1段階に選択的インキュベーション戦略を適用し,ベースラインResNetモデルの残留ブロック構成に適合するように拡張し,最終段階をMeanFlow形式で保持し,インキュベーションモデルを微調整する。
CIFAR-10とCIFAR-100データセットでは、MFI-ResNetは、ResNet-50と比較してパラメータを46.28%、45.59%削減し、精度は0.23%、0.17%向上した。
このことは、生成フローフィールドがResNetの機能変換プロセスを効果的に特徴づけることを示し、生成モデリングと識別学習の関係を理解するための新しい視点を提供する。
関連論文リスト
- Hardware-Aware Model Design and Training of Silicon-based Analog Neural Networks [33.83993649730681]
物理インフォームドハードウェア・アウェアモデルを用いてニューラルネットワークを再トレーニングすることにより、理想的なネットワークモデルの推論精度を完全に回復できることを示す。
これは、アナログニューラルネットワークの忠実性を改善するデフォルトオプションよりも、スケーラビリティと統合密度に有望である。
論文 参考訳（メタデータ） (2025-12-08T10:11:13Z) - A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。
本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
論文 参考訳（メタデータ） (2024-05-31T21:47:05Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:37:47Z) - Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
論文 参考訳（メタデータ） (2023-01-26T12:32:01Z) - Normalizing flow neural networks by JKO scheme [22.320632565424745]
我々はJKO-iFlowと呼ばれるニューラルネットワークを開発し、Jordan-Kinderleherer-Ottoスキームに触発された。
提案手法は,残余ブロックを次々と積み重ねることにより,残余ブロックの効率的なブロックワイズ訓練を可能にする。
合成および実データを用いた実験により,提案したJKO-iFlowネットワークが競合性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-12-29T18:55:00Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳（メタデータ） (2020-07-29T23:17:48Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Toward fast and accurate human pose estimation via soft-gated skip
connections [97.06882200076096]
本稿では,高精度かつ高効率な人間のポーズ推定について述べる。
我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。
本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
論文 参考訳（メタデータ） (2020-02-25T18:51:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。