論文の概要: Low-Rank Adaptation for Foundation Models: A Comprehensive Review

• arxiv url: http://arxiv.org/abs/2501.00365v1
• Date: Tue, 31 Dec 2024 09:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:15.415633
• Title: Low-Rank Adaptation for Foundation Models: A Comprehensive Review
• Title（参考訳）: ファンデーションモデルに対する低ランク適応: 総合的なレビュー
• Authors: Menglin Yang, Jialin Chen, Yifei Zhang, Jiahong Liu, Jiasheng Zhang, Qiyao Ma, Harshit Verma, Qianru Zhang, Min Zhou, Irwin King, Rex Ying,
• Abstract要約: Low-Rank Adaptation (LoRA)は、これらの課題を緩和するための非常に有望なアプローチとして登場した。 この調査は、大規模な言語モデルから一般的な基礎モデルまで、LoRAテクニックの包括的なレビューを初めて提供する。
• 参考スコア（独自算出の注目度）: 42.23155921954156
• License:
• Abstract: The rapid advancement of foundation modelslarge-scale neural networks trained on diverse, extensive datasetshas revolutionized artificial intelligence, enabling unprecedented advancements across domains such as natural language processing, computer vision, and scientific discovery. However, the substantial parameter count of these models, often reaching billions or trillions, poses significant challenges in adapting them to specific downstream tasks. Low-Rank Adaptation (LoRA) has emerged as a highly promising approach for mitigating these challenges, offering a parameter-efficient mechanism to fine-tune foundation models with minimal computational overhead. This survey provides the first comprehensive review of LoRA techniques beyond large Language Models to general foundation models, including recent techniques foundations, emerging frontiers and applications of low-rank adaptation across multiple domains. Finally, this survey discusses key challenges and future research directions in theoretical understanding, scalability, and robustness. This survey serves as a valuable resource for researchers and practitioners working with efficient foundation model adaptation.
• Abstract（参考訳）: 多様なデータセットで訓練されたファンデーションモデルニューラルネットワークの急速な進歩は、人工知能に革命をもたらし、自然言語処理、コンピュータビジョン、科学的な発見といった領域における前例のない進歩を可能にした。 しかしながら、これらのモデルの実質的なパラメータ数は、しばしば数十億または数兆に達し、特定の下流タスクに適応する上で重大な課題を生じさせる。 Low-Rank Adaptation (LoRA) はこれらの課題を緩和するための非常に有望なアプローチとして登場し、最小計算オーバーヘッドで基礎モデルを微調整するためのパラメータ効率のメカニズムを提供する。 この調査は、LoRAテクニックを大規模言語モデルを超えて、最近の技術基盤、新しいフロンティア、複数のドメインにまたがる低ランク適応の適用を含む一般的な基礎モデルまで、初めて包括的なレビューを提供する。 最後に、理論的理解、スケーラビリティ、堅牢性における重要な課題と今後の研究方向性について論じる。 この調査は、効率的な基礎モデル適応に取り組んでいる研究者や実践者にとって貴重な情報源となっている。

関連論文リスト

• Foundation Models for Remote Sensing and Earth Observation: A Survey [101.77425018347557]
  本調査は、リモートセンシング基礎モデル(RSFM)の新しい分野を体系的にレビューする。 モチベーションと背景の概要から始まり、続いて基本概念が導入された。 我々はこれらのモデルを公開データセットと比較し、既存の課題について議論し、今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2024-10-22T01:08:21Z)
• Vision Foundation Models in Remote Sensing: A Survey [6.036426846159163]
  ファンデーションモデルは、前例のない精度と効率で幅広いタスクを実行することができる大規模で事前訓練されたAIモデルである。 本調査は, 遠隔センシングにおける基礎モデルの開発と応用を継続するために, 進展のパノラマと将来性のある経路を提供することによって, 研究者や実践者の資源として機能することを目的としている。
  論文  参考訳（メタデータ） (2024-08-06T22:39:34Z)
• A Survey of Resource-efficient LLM and Multimodal Foundation Models [22.23967603206849]
  大規模言語モデル(LLM)、ビジョントランスフォーマー(ViT)、拡散、マルチモーダルモデルを含む大規模な基盤モデルは、機械学習ライフサイクル全体に革命をもたらしている。 しかしながら、これらのモデルが提供する汎用性と性能の大幅な進歩は、ハードウェアリソースの面でかなりのコストがかかる。 この調査は、アルゴリズム的側面とシステム的側面の両方を調べることで、そのような研究の重要さを掘り下げるものである。
  論文  参考訳（メタデータ） (2024-01-16T03:35:26Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• Towards Geospatial Foundation Models via Continual Pretraining [22.825065739563296]
  資源コストと炭素の影響を最小限に抑えた高効率基礎モデルを構築するための新しいパラダイムを提案する。 まず、複数のソースからコンパクトだが多様なデータセットを構築し、GeoPileと呼ぶ特徴の多様性を促進する。 次に,大規模なImageNet-22kモデルからの継続事前学習の可能性について検討し,多目的連続事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-09T07:39:02Z)
• Methods for Estimating and Improving Robustness of Language Models [0.0]
  大規模言語モデル(LLM)は、完全な意味論の複雑さよりも単純で表面的なテキスト関係を好むことで悪名高い欠陥を被っている。 本提案では, 学習領域外の一般化能力の弱い問題において, この問題の共通分母について検討する。 これらの指標のいくつかをトレーニング目的に組み込むことで、ニューラルネットワークの分散ロバスト性の向上が期待できる。
  論文  参考訳（メタデータ） (2022-06-16T21:02:53Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Toward Foundation Models for Earth Monitoring: Proposal for a Climate Change Benchmark [95.19070157520633]
  近年の自己スーパービジョンの進歩は、大量の教師なしデータ上で大規模なニューラルネットワークを事前訓練することで、下流タスクの一般化が著しく増加することを示している。 基礎モデルとして最近作られたそのようなモデルは、自然言語処理の分野に転換してきた。 気候変動に関連する様々な下流タスクからなる新しいベンチマークを開発することを提案する。
  論文  参考訳（メタデータ） (2021-12-01T15:38:19Z)
• Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey [1.2031796234206134]
  モデルに基づく強化学習は、環境サンプルの必要性を減らすために、環境力学の明示的なモデルを生成する。 深層モデルに基づく手法の課題は、低いサンプルの複雑さを維持しながら高い予測力を達成することである。 本稿では, 与えられた遷移を明示的に計画すること, 学習した遷移を明示的に計画すること, 計画と遷移の両方をエンドツーエンドで学習することの3つのアプローチに基づく分類法を提案する。
  論文  参考訳（メタデータ） (2020-08-11T08:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。