論文の概要: Large Convolutional Model Tuning via Filter Subspace

• arxiv url: http://arxiv.org/abs/2403.00269v2
• Date: Mon, 11 Mar 2024 05:58:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 13:39:22.986869
• Title: Large Convolutional Model Tuning via Filter Subspace
• Title（参考訳）: フィルタ部分空間による大規模畳み込みモデルチューニング
• Authors: Wei Chen, Zichen Miao, Qiang Qiu
• Abstract要約: 本稿では,空間のみの畳み込みの原因となるフィルタ原子のみを調整し,事前学習モデルの微調整を提案する。 このような単純なスキームは、識別的タスクと生成的タスクの両方において、以前のチューニングベースラインを超えていることが示される。
• 参考スコア（独自算出の注目度）: 31.720571082514514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient fine-tuning methods are critical to address the high computational and parameter complexity while adapting large pre-trained models to downstream tasks. Our study is inspired by prior research that represents each convolution filter as a linear combination of a small set of filter subspace elements, referred to as filter atoms. In this paper, we propose to fine-tune pre-trained models by adjusting only filter atoms, which are responsible for spatial-only convolution, while preserving spatially-invariant channel combination knowledge in atom coefficients. In this way, we bring a new filter subspace view for model tuning. Furthermore, each filter atom can be recursively decomposed as a combination of another set of atoms, which naturally expands the number of tunable parameters in the filter subspace. By only adapting filter atoms constructed by a small number of parameters, while maintaining the rest of model parameters constant, the proposed approach is highly parameter-efficient. It effectively preserves the capabilities of pre-trained models and prevents overfitting to downstream tasks. Extensive experiments show that such a simple scheme surpasses previous tuning baselines for both discriminate and generative tasks.
• Abstract（参考訳）: 効率的な微調整手法は、下流タスクに大規模な事前学習モデルを適用しながら、高い計算量とパラメータの複雑さに対処するために重要である。 我々の研究は、各畳み込みフィルタをフィルタ原子と呼ばれる小さなフィルター部分空間要素の線形結合として表現する以前の研究にインスパイアされている。 本稿では,空間的のみの畳み込みに責任を持つフィルタ原子のみを調整し,空間的不変チャネル結合知識を原子係数に保ちながら,事前学習した微調整モデルを提案する。 このようにして、モデルチューニングのための新しいフィルタサブスペースビューを提供する。 さらに、各フィルタ原子は、フィルタサブスペース内の可変パラメータの数を自然に拡大する別の原子集合の組み合わせとして再帰的に分解することができる。 少数のパラメータで構築されたフィルタ原子のみを適応させることで、残りのモデルのパラメータを一定に保ちながら、提案手法はパラメータ効率が高い。 事前訓練されたモデルの能力を効果的に保持し、下流タスクへの過度な適合を防止する。 広範な実験により、このような単純なスキームは、判別タスクと生成タスクの両方の以前のチューニングベースラインを超えることが示されている。

関連論文リスト

• Learning Differentiable Particle Filter on the Fly [18.466658684464598]
  微分可能な粒子フィルタは、シーケンシャルベイズ推論技術の新たなクラスである。 本稿では,データ到着時にモデルパラメータを更新できるように,微分可能な粒子フィルタのためのオンライン学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-10T17:54:40Z)
• Implicit Maximum a Posteriori Filtering via Adaptive Optimization [4.767884267554628]
  標準ベイズフィルタ問題を時間変化目標に対する最適化として検討する。 我々のフレームワークは、高次元システムに対して効率的で堅牢でスケーラブルなフィルタをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-11-17T15:30:44Z)
• Memory-efficient particle filter recurrent neural network for object localization [53.68402839500528]
  本研究では、オブジェクトの局所化問題を解決するために、新しいメモリ効率のリカレントニューラルネットワーク(RNN)アーキテクチャを提案する。 古典的粒子フィルタの概念をGRU RNNアーキテクチャと組み合わせる。 我々の実験では、mePFRNNモデルは、考慮された競合相手よりも正確なローカライゼーションを提供し、訓練されたパラメータを少なくする。
  論文  参考訳（メタデータ） (2023-10-02T19:41:19Z)
• As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain [22.512062422338914]
  画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。 提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
  論文  参考訳（メタデータ） (2023-07-19T14:21:11Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• Direct design of biquad filter cascades with deep learning by sampling random polynomials [5.1118282767275005]
  本研究では, 何百万ものランダムフィルタで学習したニューラルネットワークを用いて, フィルタ係数空間に対する目標規模の応答から直接写像を学習する。 提案手法は,所望の応答に対するフィルタ係数の高速かつ高精度な推定を可能にする。 修正Yule-Walkerや勾配降下などの既存手法と比較し,IIRNetが平均的に高速かつ高精度であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:08Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Adaptive Convolutions with Per-pixel Dynamic Filter Atom [24.691793951360914]
  画素ごとの適応フィルタによるスケーラブルな動的畳み込みを導入する。 コンボリューション層へのプラグアンドプレイ置換として、ピクセル単位の動的原子による適応的畳み込みは、画像内分散の明示的なモデリングを可能にする。 本稿では,提案手法がタスク間で同等あるいはさらに優れたパフォーマンスを実現することを示す実験を行う。
  論文  参考訳（メタデータ） (2021-08-17T22:04:10Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。