論文の概要: Towards Better Parameter-Efficient Fine-Tuning for Large Language Models: A Position Paper

• arxiv url: http://arxiv.org/abs/2311.13126v1
• Date: Wed, 22 Nov 2023 03:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 16:18:27.200925
• Title: Towards Better Parameter-Efficient Fine-Tuning for Large Language Models: A Position Paper
• Title（参考訳）: 大規模言語モデルのためのパラメータ効率の良いファインチューニングに向けて:ポジションペーパー
• Authors: Chengyu Wang, Junbing Yan, Wei Zhang, Jun Huang
• Abstract要約: この論文は差し迫った必要性を浮き彫りにする。 -大規模言語モデル(LLM)のための効率的な微細チューニング(PEFT) 本稿は,現状と今後の研究の必要性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 14.081178100662163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper delves into the pressing need in Parameter-Efficient Fine-Tuning (PEFT) for Large Language Models (LLMs). While LLMs possess remarkable capabilities, their extensive parameter requirements and associated computational demands hinder their practicality and scalability for real-world applications. Our position paper highlights current states and the necessity of further studying into the topic, and recognizes significant challenges and open issues that must be addressed to fully harness the powerful abilities of LLMs. These challenges encompass novel efficient PEFT architectures, PEFT for different learning settings, PEFT combined with model compression techniques, and the exploration of PEFT for multi-modal LLMs. By presenting this position paper, we aim to stimulate further research and foster discussions surrounding more efficient and accessible PEFT for LLMs.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) におけるパラメータ効率の良いファインチューニング (PEFT) の必要性について述べる。 LLMには優れた能力があるが、その広範なパラメータ要求と関連する計算要求は、現実のアプリケーションにおける実用性とスケーラビリティを妨げている。 本稿は,LLMの強力な能力を完全に活用するために対処すべき重要な課題とオープンな課題を,現状と今後の研究の必要性を強調した。 これらの課題には、新しい効率的なPEFTアーキテクチャ、異なる学習環境のためのPEFT、モデル圧縮技術を組み合わせたPEFT、マルチモーダルLLMのためのPEFTの探索が含まれる。 本論文は,LLMのより効率的でアクセスしやすいPEFTに関するさらなる研究と議論を促進することを目的としている。

関連論文リスト

• Parameter-Efficient Fine-Tuning for Foundation Models [31.282945945383915]
  この調査は、その領域を掘り下げる。 -ファンデーションモデル(FM)の文脈におけるPEFT(Efficient Fine-Tuning) PEFTはコスト効率のよい微調整技術であり、最適なダウンストリームタスク性能を追求しながらパラメータと計算複雑性を最小化する。 この調査は、FMを通してPEFTのパワーを理解し、利用しようとする新参者および専門家の両方に貴重なリソースを提供する。
  論文  参考訳（メタデータ） (2025-01-23T16:04:23Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R [1.9799527196428242]
  コード要約と生成のための大規模言語モデル上でPEFT法, LoRA, Compacter, IA3を評価する。 我々の実験によると、LoRAはすべての設定でCompacterとIA3を一貫して上回っている。 我々の研究は、Rを含む見知らぬ言語のためのコード知能タスクの開発における将来の研究を導くことができる。
  論文  参考訳（メタデータ） (2024-03-16T03:12:45Z)
• Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment [12.674032145667763]
  本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。 パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
  論文  参考訳（メタデータ） (2023-12-19T13:31:24Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• A Survey on Model Compression for Large Language Models [21.768293256849113]
  大規模言語モデル(LLM)は自然言語処理タスクをうまく変換した。 しかし、その大きなサイズと高い計算要求は、実用上の課題を提起する。 モデル圧縮はこれらの課題に対処するための重要な研究領域として浮上している。
  論文  参考訳（メタデータ） (2023-08-15T08:31:05Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。