論文の概要: Continual Learning with Low Rank Adaptation

• arxiv url: http://arxiv.org/abs/2311.17601v1
• Date: Wed, 29 Nov 2023 12:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 21:18:35.597455
• Title: Continual Learning with Low Rank Adaptation
• Title（参考訳）: 低ランク適応による連続学習
• Authors: Martin Wistuba, Prabhu Teja Sivaprasad, Lukas Balles, Giovanni Zappella
• Abstract要約: 連続学習におけるローランク適応(LoRA)の適用性について検討した。 ドメインインクリメンタルな学習ベンチマークでは、LoRAベースのソリューションであるCoLoRが最先端のパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 19.78675016163646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work using pretrained transformers has shown impressive performance when fine-tuned with data from the downstream problem of interest. However, they struggle to retain that performance when the data characteristics changes. In this paper, we focus on continual learning, where a pre-trained transformer is updated to perform well on new data, while retaining its performance on data it was previously trained on. Earlier works have tackled this primarily through methods inspired from prompt tuning. We question this choice, and investigate the applicability of Low Rank Adaptation (LoRA) to continual learning. On a range of domain-incremental learning benchmarks, our LoRA-based solution, CoLoR, yields state-of-the-art performance, while still being as parameter efficient as the prompt tuning based methods.
• Abstract（参考訳）: 事前学習されたトランスフォーマーを用いた最近の研究は、下流問題からのデータを微調整した場合の印象的な性能を示している。 しかし、データ特性が変化すると、そのパフォーマンスを維持するのに苦労する。 本稿では,事前学習したトランスフォーマーを更新して新しいデータに対して良好な性能を保ちつつ,従来トレーニングしたデータに対する性能を維持した連続学習に着目した。 初期の作業は、主にプロンプトチューニングにインスパイアされた方法によって、この問題に取り組みました。 この選択を疑問視し,低ランク適応(lora)の連続学習への適用性を検討する。 ドメイン・インクリメンタル・ラーニングのベンチマークでは、LoRAベースのソリューションであるCoLoRが、プロンプトチューニングベースの手法と同じくらいパラメータ効率が良いまま、最先端のパフォーマンスを実現しています。

関連論文リスト

• Controlling Forgetting with Test-Time Data in Continual Learning [15.455400390299593]
  継続学習研究は、新しい知識が得られたときの過去の情報の破滅的な忘れを克服する技術を提供する。 テストタイムデータには,従来の学習タスクのモデルメモリをリフレッシュするために,自己管理的な方法で活用できる優れた情報がある,と我々は主張する。
  論文  参考訳（メタデータ） (2024-06-19T15:56:21Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• On the Effectiveness of LayerNorm Tuning for Continual Learning in Vision Transformers [47.77328392236625]
  最新のリハーサルなし連続学習手法は、視覚変換器の特異性を利用してタスク固有のプロンプトを学習する。 そこで、まずタスク固有のパラメータを最適化し、次に推論時間の同じ選択手順で分類器を訓練する。 提案手法は, 計算コストを抑えながら, より優れた結果が得られるか, あるいは, 技術水準に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2023-08-18T15:11:16Z)
• Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
  自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。 実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。 学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
  論文  参考訳（メタデータ） (2023-04-04T22:45:50Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Investigating Transferability in Pretrained Language Models [8.83046338075119]
  本稿では,各事前学習層が伝達タスク性能に与える影響を簡易なアブレーション手法で判定する。 この手法により、BERTでは、下流GLUEタスクにおける高いプローブ性能を持つレイヤは、それらのタスクに対して高い精度で必要でも十分でもないことが分かる。
  論文  参考訳（メタデータ） (2020-04-30T17:23:19Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。