論文の概要: Parameter-Efficient Tuning of Large Convolutional Models

• arxiv url: http://arxiv.org/abs/2403.00269v1
• Date: Fri, 1 Mar 2024 04:16:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 18:15:19.899293
• Title: Parameter-Efficient Tuning of Large Convolutional Models
• Title（参考訳）: 大規模畳み込みモデルのパラメータ効率調整
• Authors: Wei Chen, Zichen Miao, Qiang Qiu
• Abstract要約: 本稿では,各ネットワーク層内の畳み込みカーネルをフィルタ部分空間の小さな集合上に分解してフィルタ部分空間を導入する。 次に、これらのモデルを微調整して、一般に数百のパラメータであるフィルタ原子のみを適応させることで、タスク固有の表現を抽出する。
• 参考スコア（独自算出の注目度）: 31.720571082514514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To address the high computational and parameter complexity associated with fine-tuning large pre-trained models, researchers have developed parameter-efficient methods, where only partial parameters are updated for downstream tasks. However, these works often overlook the distinct properties of convolutional kernels, which still remain essential elements in many large models, such as Stable Diffusion. In this study, we first introduce filter subspace by decomposing convolutional kernels within each network layer over a small set of filter subspace elements, referred to as filter atoms. We then fine-tune these models to extract task-specific representation by only adapting the filter atoms, a few hundred parameters typically. To potentially expand the parameter space for tuning, we further show a simple approach to generate an overcomplete filter subspace by recursively decomposing each filter atom over another set of filter atoms. The fine-tuning of filter atoms reshapes the filter subspace, enabling convolutional layers to adapt to diverse downstream tasks efficiently. Extensive experiments show that such a simple scheme surpasses previous tuning baselines for both discriminate and generative tasks. Our approach can potentially be complementary to many existing fine-tuning methods.
• Abstract（参考訳）: 微調整された大規模な事前学習モデルに関連する高い計算量とパラメータの複雑さに対処するため、研究者は下流タスクのために部分パラメータのみを更新するパラメータ効率の手法を開発した。 しかし、これらの研究はしばしば、安定拡散のような多くの大きなモデルにおいて依然として必須の要素である畳み込み核の異なる性質を見落としている。 本研究では,まず,各ネットワーク層内の畳み込みカーネルをフィルタ原子と呼ばれる小さなフィルタ部分空間要素の集合上に分解してフィルタ部分空間を導入する。 次に、これらのモデルを微調整して、一般に数百のパラメータであるフィルタ原子のみを適応させることで、タスク固有の表現を抽出する。 チューニングのためのパラメータ空間を潜在的に拡大するために、各フィルタ原子を別のフィルタ原子のセットで再帰的に分解することにより、オーバーコンプリートフィルタサブスペースを生成するための簡単なアプローチを示す。 フィルタ原子の微調整はフィルタ部分空間を再調整し、畳み込み層が様々な下流タスクに効率的に適応できるようにする。 広範な実験により、このような単純なスキームは、判別タスクと生成タスクの両方の以前のチューニングベースラインを超えることが示されている。 我々のアプローチは多くの既存の微調整手法を補完する可能性がある。

関連論文リスト

• Learning Differentiable Particle Filter on the Fly [18.466658684464598]
  微分可能な粒子フィルタは、シーケンシャルベイズ推論技術の新たなクラスである。 本稿では,データ到着時にモデルパラメータを更新できるように,微分可能な粒子フィルタのためのオンライン学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-10T17:54:40Z)
• Implicit Maximum a Posteriori Filtering via Adaptive Optimization [4.767884267554628]
  標準ベイズフィルタ問題を時間変化目標に対する最適化として検討する。 我々のフレームワークは、高次元システムに対して効率的で堅牢でスケーラブルなフィルタをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-11-17T15:30:44Z)
• Memory-efficient particle filter recurrent neural network for object localization [53.68402839500528]
  本研究では、オブジェクトの局所化問題を解決するために、新しいメモリ効率のリカレントニューラルネットワーク(RNN)アーキテクチャを提案する。 古典的粒子フィルタの概念をGRU RNNアーキテクチャと組み合わせる。 我々の実験では、mePFRNNモデルは、考慮された競合相手よりも正確なローカライゼーションを提供し、訓練されたパラメータを少なくする。
  論文  参考訳（メタデータ） (2023-10-02T19:41:19Z)
• As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain [22.512062422338914]
  画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。 提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
  論文  参考訳（メタデータ） (2023-07-19T14:21:11Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• Direct design of biquad filter cascades with deep learning by sampling random polynomials [5.1118282767275005]
  本研究では, 何百万ものランダムフィルタで学習したニューラルネットワークを用いて, フィルタ係数空間に対する目標規模の応答から直接写像を学習する。 提案手法は,所望の応答に対するフィルタ係数の高速かつ高精度な推定を可能にする。 修正Yule-Walkerや勾配降下などの既存手法と比較し,IIRNetが平均的に高速かつ高精度であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:08Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Adaptive Convolutions with Per-pixel Dynamic Filter Atom [24.691793951360914]
  画素ごとの適応フィルタによるスケーラブルな動的畳み込みを導入する。 コンボリューション層へのプラグアンドプレイ置換として、ピクセル単位の動的原子による適応的畳み込みは、画像内分散の明示的なモデリングを可能にする。 本稿では,提案手法がタスク間で同等あるいはさらに優れたパフォーマンスを実現することを示す実験を行う。
  論文  参考訳（メタデータ） (2021-08-17T22:04:10Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。