論文の概要: Low-Rank Adaptation for Foundation Models: A Comprehensive Review

• arxiv url: http://arxiv.org/abs/2501.00365v1
• Date: Tue, 31 Dec 2024 09:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:15.415633
• Title: Low-Rank Adaptation for Foundation Models: A Comprehensive Review
• Title（参考訳）: ファンデーションモデルに対する低ランク適応: 総合的なレビュー
• Authors: Menglin Yang, Jialin Chen, Yifei Zhang, Jiahong Liu, Jiasheng Zhang, Qiyao Ma, Harshit Verma, Qianru Zhang, Min Zhou, Irwin King, Rex Ying,
• Abstract要約: Low-Rank Adaptation (LoRA)は、これらの課題を緩和するための非常に有望なアプローチとして登場した。 この調査は、大規模な言語モデルから一般的な基礎モデルまで、LoRAテクニックの包括的なレビューを初めて提供する。
• 参考スコア（独自算出の注目度）: 42.23155921954156
• License:
• Abstract: The rapid advancement of foundation modelslarge-scale neural networks trained on diverse, extensive datasetshas revolutionized artificial intelligence, enabling unprecedented advancements across domains such as natural language processing, computer vision, and scientific discovery. However, the substantial parameter count of these models, often reaching billions or trillions, poses significant challenges in adapting them to specific downstream tasks. Low-Rank Adaptation (LoRA) has emerged as a highly promising approach for mitigating these challenges, offering a parameter-efficient mechanism to fine-tune foundation models with minimal computational overhead. This survey provides the first comprehensive review of LoRA techniques beyond large Language Models to general foundation models, including recent techniques foundations, emerging frontiers and applications of low-rank adaptation across multiple domains. Finally, this survey discusses key challenges and future research directions in theoretical understanding, scalability, and robustness. This survey serves as a valuable resource for researchers and practitioners working with efficient foundation model adaptation.
• Abstract（参考訳）: 多様なデータセットで訓練されたファンデーションモデルニューラルネットワークの急速な進歩は、人工知能に革命をもたらし、自然言語処理、コンピュータビジョン、科学的な発見といった領域における前例のない進歩を可能にした。 しかしながら、これらのモデルの実質的なパラメータ数は、しばしば数十億または数兆に達し、特定の下流タスクに適応する上で重大な課題を生じさせる。 Low-Rank Adaptation (LoRA) はこれらの課題を緩和するための非常に有望なアプローチとして登場し、最小計算オーバーヘッドで基礎モデルを微調整するためのパラメータ効率のメカニズムを提供する。 この調査は、LoRAテクニックを大規模言語モデルを超えて、最近の技術基盤、新しいフロンティア、複数のドメインにまたがる低ランク適応の適用を含む一般的な基礎モデルまで、初めて包括的なレビューを提供する。 最後に、理論的理解、スケーラビリティ、堅牢性における重要な課題と今後の研究方向性について論じる。 この調査は、効率的な基礎モデル適応に取り組んでいる研究者や実践者にとって貴重な情報源となっている。

関連論文リスト

• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Foundation Models for Remote Sensing and Earth Observation: A Survey [101.77425018347557]
  本調査は、リモートセンシング基礎モデル(RSFM)の新しい分野を体系的にレビューする。 モチベーションと背景の概要から始まり、続いて基本概念が導入された。 我々はこれらのモデルを公開データセットと比較し、既存の課題について議論し、今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2024-10-22T01:08:21Z)
• AI Foundation Models in Remote Sensing: A Survey [6.036426846159163]
  本稿では,リモートセンシング領域における基礎モデルの包括的調査を行う。 コンピュータビジョンおよびドメイン固有タスクにおけるそれらの応用に基づいて、これらのモデルを分類する。 これらの基盤モデルによって達成された、新しいトレンドと大きな進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-06T22:39:34Z)
• A Survey of Resource-efficient LLM and Multimodal Foundation Models [22.23967603206849]
  大規模言語モデル(LLM)、ビジョントランスフォーマー(ViT)、拡散、マルチモーダルモデルを含む大規模な基盤モデルは、機械学習ライフサイクル全体に革命をもたらしている。 しかしながら、これらのモデルが提供する汎用性と性能の大幅な進歩は、ハードウェアリソースの面でかなりのコストがかかる。 この調査は、アルゴリズム的側面とシステム的側面の両方を調べることで、そのような研究の重要さを掘り下げるものである。
  論文  参考訳（メタデータ） (2024-01-16T03:35:26Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• Towards Geospatial Foundation Models via Continual Pretraining [22.825065739563296]
  資源コストと炭素の影響を最小限に抑えた高効率基礎モデルを構築するための新しいパラダイムを提案する。 まず、複数のソースからコンパクトだが多様なデータセットを構築し、GeoPileと呼ぶ特徴の多様性を促進する。 次に,大規模なImageNet-22kモデルからの継続事前学習の可能性について検討し,多目的連続事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-09T07:39:02Z)
• Methods for Estimating and Improving Robustness of Language Models [0.0]
  大規模言語モデル(LLM)は、完全な意味論の複雑さよりも単純で表面的なテキスト関係を好むことで悪名高い欠陥を被っている。 本提案では, 学習領域外の一般化能力の弱い問題において, この問題の共通分母について検討する。 これらの指標のいくつかをトレーニング目的に組み込むことで、ニューラルネットワークの分散ロバスト性の向上が期待できる。
  論文  参考訳（メタデータ） (2022-06-16T21:02:53Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey [1.2031796234206134]
  モデルに基づく強化学習は、環境サンプルの必要性を減らすために、環境力学の明示的なモデルを生成する。 深層モデルに基づく手法の課題は、低いサンプルの複雑さを維持しながら高い予測力を達成することである。 本稿では, 与えられた遷移を明示的に計画すること, 学習した遷移を明示的に計画すること, 計画と遷移の両方をエンドツーエンドで学習することの3つのアプローチに基づく分類法を提案する。
  論文  参考訳（メタデータ） (2020-08-11T08:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。