論文の概要: Res-Attn : An Enhanced Res-Tuning Approach with Lightweight Attention Mechanism

• arxiv url: http://arxiv.org/abs/2312.16916v1
• Date: Thu, 28 Dec 2023 09:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 16:48:56.578527
• Title: Res-Attn : An Enhanced Res-Tuning Approach with Lightweight Attention Mechanism
• Title（参考訳）: res-attn : 軽量注意機構を用いた強化res-tuningアプローチ
• Authors: Chaojie Mao and Zeyinzi Jiang
• Abstract要約: Res-Tuningはモデルチューニングのためのフレキシブルで効率的なパラダイムを導入している。 低ランク注意を付加した高度で効率的なチューナーを提案する。
• 参考スコア（独自算出の注目度）: 0.9210074587720175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Res-Tuning introduces a flexible and efficient paradigm for model tuning, showing that tuners decoupled from the backbone network can achieve performance comparable to traditional methods. Existing methods commonly construct the tuner as a set of trainable low-rank decomposition matrices, positing that a low-rank subspace suffices for adapting pre-trained foundational models to new scenarios. In this work, we present an advanced, efficient tuner augmented with low-rank attention, termed Res-Attn , which also adheres to the Res-Tuning framework. Res-Attn utilizes a parallel multi-head attention module equipped with low-rank projections for query, key, and value to execute streamlined attention operations. Through training this lightweight attention module, Res-Attn facilitates adaptation to new scenarios. Our extensive experiments across a range of discriminative and generative tasks showcase the superior performance of our method when compared to existing alternatives
• Abstract（参考訳）: res-tuningはモデルチューニングのフレキシブルで効率的なパラダイムを導入し、バックボーンネットワークから分離されたチューナーが従来の方法に匹敵するパフォーマンスを達成できることを示した。 既存の手法では、チューナーをトレーニング可能な低ランク分解行列の集合として構築し、事前訓練された基礎モデルを新しいシナリオに適応するのに十分な低ランク部分空間を仮定する。 そこで本研究では,Res-Attn と呼ばれる低ランク注意を付加した高度で効率的なチューナーを提案する。 Res-Attnはクエリ、キー、値の低ランクプロジェクションを備えた並列マルチヘッドアテンションモジュールを使用して、合理化されたアテンション操作を実行する。 この軽量アテンションモジュールのトレーニングを通じて、Res-Attnは新しいシナリオへの適応を容易にする。 提案手法は,既存の代替手法と比較して優れた性能を示すため,様々な識別・生成タスクにわたる広範な実験を行った。

関連論文リスト

• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• Fast Unsupervised Tensor Restoration via Low-rank Deconvolution [0.09208007322096533]
  低ランクデコンボリューション(LRD)は、重要な効率性と柔軟性を持つ新しい多次元表現モデルとして現れている。 我々は、この分析モデルがDeep Image Prior(DIP)やBlind-Spot Networks(BSN)といったディープラーニング(DL)フレームワークと競合できるかどうかを自問する。
  論文  参考訳（メタデータ） (2024-06-15T16:04:49Z)
• Improving Bracket Image Restoration and Enhancement with Flow-guided Alignment and Enhanced Feature Aggregation [32.69740459810521]
  フローガイド特徴アライメントモジュール(FFAM)と拡張特徴アグリゲーションモジュール(EFAM)による多重露光とアグリゲーションを改善するIREANetを提案する。 実験により,提案したIREANetは従来の手法と比較して最先端性能を示した。
  論文  参考訳（メタデータ） (2024-04-16T07:46:55Z)
• Low-Rank Rescaled Vision Transformer Fine-Tuning: A Residual Design Approach [17.678759882763078]
  事前訓練されたビジョントランスフォーマーの微調整は、下流のタスクにモデルを十分にカスタマイズすることを目的としている。 事前訓練されたモデルの一般化可能な表現能力を維持することと、タスク固有の特徴を取得することのバランスを取ることは重要な課題である。 本稿では,Residual-based Low-Rank Rescaling (RLRR)ファインチューニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-28T00:14:53Z)
• Res-Tuning: A Flexible and Efficient Tuning Paradigm via Unbinding Tuner from Backbone [60.4611286093497]
  Res-Tuningは、バックボーンからチューナーをアンバインドする新しいチューニングパラダイムである。 一般的なチューニング手法は、結合のない定式化の下で同等の手法を持つことを示す。 本稿では,メモリ効率のよいRes-Tuningの変種を提案する。
  論文  参考訳（メタデータ） (2023-10-30T17:58:19Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。