論文の概要: LoraMap: Harnessing the Power of LoRA Connections

• arxiv url: http://arxiv.org/abs/2408.16264v2
• Date: Wed, 16 Oct 2024 10:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 04:19:50.130441
• Title: LoraMap: Harnessing the Power of LoRA Connections
• Title（参考訳）: LoraMap: LoRAコネクションのパワーを損なう
• Authors: Hyeryun Park, Jeongwon Kwak, Dongsuk Jang, Sumin Park, Jinwook Choi,
• Abstract要約: 本稿では,複数のローランド適応(LoRA)間の接続を確立する手法について検討する。 ファクトチェックと微調整の個々のLoRAに適した3つの推論データセットを作成します。 それらの間の接続をマップするアプローチであるLoraMapを紹介します。
• 参考スコア（独自算出の注目度）: 2.890453474800439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fact-checking techniques can mitigate hallucinations in Large Language Models (LLMs), a prominent issue in specialized domains. As parameter-efficient techniques such as Low-Rank Adaptation (LoRA) can overcome substantial computational overhead, some studies have explored the integration of multiple LoRAs. While previous studies focus on parallel integration, this paper investigates methods to establish connections among multiple LoRAs. We create three reasoning datasets tailored to fact-checking and fine-tune individual LoRAs, allowing them to view and reason from diverse perspectives. Then, we explore strategies for allocating these reasoning LoRAs and introduce LoraMap, an approach to map connections between them. The results of the fact-checking task demonstrate that the performance of LoraMap is superior to LoraHub, an existing method for integrating LoRAs. LoraMap also outperforms with significantly fewer trainable parameters than LoraConcat, which concatenates LoRAs and further fine-tunes them.
• Abstract（参考訳）: ファクトチェック技術は、特殊ドメインにおける顕著な問題であるLarge Language Models (LLMs)における幻覚を緩和することができる。 Low-Rank Adaptation (LoRA) のようなパラメータ効率のよい手法は計算オーバーヘッドを大幅に克服できるため、複数のLoRAの統合について検討している。 本稿では,複数のLoRA間の接続を確立する手法について検討する。 ファクトチェックと微調整の個々のLoRAに適した3つの推論データセットを作成します。 次に、これらのロラを割り当てる戦略を検討し、それらの間の接続をマップするアプローチであるロラマップを導入する。 ファクトチェックタスクの結果は、LoraMapのパフォーマンスが、既存のLoRAを統合する方法であるLoraHubよりも優れていることを示している。 LoraMapは、LoRAとそれらをさらに微調整するLoraConcatよりも、トレーニング可能なパラメータが大幅に少ないことで、パフォーマンスも向上している。

関連論文リスト

• CopRA: A Progressive LoRA Training Strategy [9.847045610578073]
  Low-Rank Adaptation (LoRA) は、微調整基礎モデルのためのパラメータ効率のよい手法である。 本研究では,ランダム層降下を伴うLoRAの新しいプログレッシブトレーニング戦略を提案する。 本手法を協調ロラ(CopRA)と呼ぶ。
  論文  参考訳（メタデータ） (2024-10-30T11:07:09Z)
• A Survey on LoRA of Large Language Models [19.85250609150331]
  低ランク適応(LoRA)は、高密度ニューラルネットワーク層をプラグ可能な低ランク行列で更新し、パラメータ効率の良い微調整パラダイムの1つである。 本調査は,(1)ダウンストリーム適応の改善による下流タスクにおけるLoRAの性能向上,(2)複数のLoRAプラグインを混合してタスク間一般化を実現するクロスタスク一般化手法,(3)LoRAの計算効率を高める効率改善手法,(4)フェデレート学習にLoRAを使用するデータプライバシ保護手法,(5)アプリケーションの観点から,進捗を分類し,レビューする。
  論文  参考訳（メタデータ） (2024-07-08T12:32:10Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• NOLA: Compressing LoRA using Linear Combination of Random Basis [22.76088132446952]
  我々は、ロラに存在するランク1の下界を克服するNOLAを導入する。 NOLAは、ランク1のLoRAと比較してパラメータ数がはるかに少ないLoRAモデルと同様に、最高の圧縮LoRAをアーカイブできる。
  論文  参考訳（メタデータ） (2023-10-04T03:30:24Z)
• LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition [44.13900539802629]
  ローランク適応(LoRA)は、しばしば新しいタスクのために細調整された大きな言語モデル(LLM)に使用される。 本稿では,多様なタスクで訓練されたLoRAモジュールの組み立てのためのフレームワークであるLoraHubを紹介する。 新しいタスクからいくつか例を挙げると、LoraHubは複数のLoRAモジュールを流動的に結合することができ、人間の専門知識や前提を必要としない。
  論文  参考訳（メタデータ） (2023-07-25T05:39:21Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。