論文の概要: Res-Attn : An Enhanced Res-Tuning Approach with Lightweight Attention
Mechanism
- arxiv url: http://arxiv.org/abs/2312.16916v1
- Date: Thu, 28 Dec 2023 09:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 16:48:56.578527
- Title: Res-Attn : An Enhanced Res-Tuning Approach with Lightweight Attention
Mechanism
- Title(参考訳): res-attn : 軽量注意機構を用いた強化res-tuningアプローチ
- Authors: Chaojie Mao and Zeyinzi Jiang
- Abstract要約: Res-Tuningはモデルチューニングのためのフレキシブルで効率的なパラダイムを導入している。
低ランク注意を付加した高度で効率的なチューナーを提案する。
- 参考スコア(独自算出の注目度): 0.9210074587720175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Res-Tuning introduces a flexible and efficient paradigm for model tuning,
showing that tuners decoupled from the backbone network can achieve performance
comparable to traditional methods. Existing methods commonly construct the
tuner as a set of trainable low-rank decomposition matrices, positing that a
low-rank subspace suffices for adapting pre-trained foundational models to new
scenarios. In this work, we present an advanced, efficient tuner augmented with
low-rank attention, termed Res-Attn , which also adheres to the Res-Tuning
framework. Res-Attn utilizes a parallel multi-head attention module equipped
with low-rank projections for query, key, and value to execute streamlined
attention operations. Through training this lightweight attention module,
Res-Attn facilitates adaptation to new scenarios. Our extensive experiments
across a range of discriminative and generative tasks showcase the superior
performance of our method when compared to existing alternatives
- Abstract(参考訳): res-tuningはモデルチューニングのフレキシブルで効率的なパラダイムを導入し、バックボーンネットワークから分離されたチューナーが従来の方法に匹敵するパフォーマンスを達成できることを示した。
既存の手法では、チューナーをトレーニング可能な低ランク分解行列の集合として構築し、事前訓練された基礎モデルを新しいシナリオに適応するのに十分な低ランク部分空間を仮定する。
そこで本研究では,Res-Attn と呼ばれる低ランク注意を付加した高度で効率的なチューナーを提案する。
Res-Attnはクエリ、キー、値の低ランクプロジェクションを備えた並列マルチヘッドアテンションモジュールを使用して、合理化されたアテンション操作を実行する。
この軽量アテンションモジュールのトレーニングを通じて、Res-Attnは新しいシナリオへの適応を容易にする。
提案手法は,既存の代替手法と比較して優れた性能を示すため,様々な識別・生成タスクにわたる広範な実験を行った。
関連論文リスト
- Improving Bracket Image Restoration and Enhancement with Flow-guided Alignment and Enhanced Feature Aggregation [32.69740459810521]
フローガイド特徴アライメントモジュール(FFAM)と拡張特徴アグリゲーションモジュール(EFAM)による多重露光とアグリゲーションを改善するIREANetを提案する。
実験により,提案したIREANetは従来の手法と比較して最先端性能を示した。
論文 参考訳(メタデータ) (2024-04-16T07:46:55Z) - Low-Rank Rescaled Vision Transformer Fine-Tuning: A Residual Design Approach [17.678759882763078]
事前訓練されたビジョントランスフォーマーの微調整は、下流のタスクにモデルを十分にカスタマイズすることを目的としている。
事前訓練されたモデルの一般化可能な表現能力を維持することと、タスク固有の特徴を取得することのバランスを取ることは重要な課題である。
本稿では,Residual-based Low-Rank Rescaling (RLRR)ファインチューニング戦略を提案する。
論文 参考訳(メタデータ) (2024-03-28T00:14:53Z) - Res-Tuning: A Flexible and Efficient Tuning Paradigm via Unbinding Tuner
from Backbone [60.4611286093497]
Res-Tuningは、バックボーンからチューナーをアンバインドする新しいチューニングパラダイムである。
一般的なチューニング手法は、結合のない定式化の下で同等の手法を持つことを示す。
本稿では,メモリ効率のよいRes-Tuningの変種を提案する。
論文 参考訳(メタデータ) (2023-10-30T17:58:19Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳(メタデータ) (2023-07-26T08:25:46Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。
実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。
微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
論文 参考訳(メタデータ) (2022-08-04T08:56:38Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Low-level Pose Control of Tilting Multirotor for Wall Perching Tasks
Using Reinforcement Learning [2.5903488573278284]
実世界の応用において,傾き型マルチロータを制御するための新しい強化学習手法を提案する。
提案手法は,傾斜マルチロータの複雑な力学を克服し,頑健な制御性を示す。
論文 参考訳(メタデータ) (2021-08-11T21:39:51Z) - Initialization and Regularization of Factorized Neural Layers [23.875225732697142]
ディープネットにおける因子化層の初期化と規則化の方法を示す。
これらのスキームが翻訳と教師なしプリトレーニングの両方のパフォーマンスを向上させる方法を示しています。
論文 参考訳(メタデータ) (2021-05-03T17:28:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。