論文の概要: Aggregating Low Rank Adapters in Federated Fine-tuning

• arxiv url: http://arxiv.org/abs/2501.06332v1
• Date: Fri, 10 Jan 2025 20:24:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:27:55.506524
• Title: Aggregating Low Rank Adapters in Federated Fine-tuning
• Title（参考訳）: フェデレーションファインチューニングにおける低位適応器の集約
• Authors: Evelyn Trautmann, Ian Hales, Martin F. Volk,
• Abstract要約: 微調整された大きな言語モデルは高い計算資源とメモリ資源を必要とするため、かなりのコストがかかる。 そこで本研究では,機械学習モデルのファインチューニングで訓練された下級アダプターのアグリゲーション手法と,既存のアグリゲーション手法を比較した。 選択したGLUEベンチマークデータセットに対して,その性能を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Fine-tuning large language models requires high computational and memory resources, and is therefore associated with significant costs. When training on federated datasets, an increased communication effort is also needed. For this reason, parameter-efficient methods (PEFT) are becoming increasingly important. In this context, very good results have already been achieved by fine-tuning with low-rank adaptation methods (LoRA). The application of LoRA methods in Federated Learning, and especially the aggregation of adaptation matrices, is a current research field. In this article, we propose a novel aggregation method and compare it with different existing aggregation methods of low rank adapters trained in a federated fine-tuning of large machine learning models and evaluate their performance with respect to selected GLUE benchmark datasets.
• Abstract（参考訳）: 微調整された大きな言語モデルは高い計算資源とメモリ資源を必要とするため、かなりのコストがかかる。 フェデレーションデータセットのトレーニングでは、通信努力の増加も必要である。 このため,パラメータ係数法 (PEFT) の重要性が高まっている。 この文脈では、ローランク適応法(LoRA)による微調整によって、非常に良い結果がすでに得られている。 フェデレートラーニングにおけるLoRA法の適用、特に適応行列の集約は、現在の研究分野である。 本稿では,大規模機械学習モデルのファインチューニングで訓練された下級アダプターの既存のアグリゲーション手法と比較し,選択したGLUEベンチマークデータセットに対する性能評価を行う。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Retrieval Instead of Fine-tuning: A Retrieval-based Parameter Ensemble for Zero-shot Learning [22.748835458594744]
  Retrievalをベースとする。 Ensemble (RPE) - ベクトル化されたデータベースを作成する新しい方法。 Low-Rank Adaptations (LoRA) RPEは、広範囲なトレーニングの必要性を最小限に抑え、ラベル付きデータの要求を排除し、特にゼロショット学習に有効である。 RPEは、生のデータにアクセスせずにモデルパラメータを変更するため、ヘルスケアのようなプライバシに敏感なドメインに適している。
  論文  参考訳（メタデータ） (2024-10-13T16:28:38Z)
• Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models [5.1613368481802455]
  Low-Rank Adaptation (LoRA) は基礎モデルの効率的な微調整技術として人気がある。 凍結重量行列に残留誤差項を付加するFederated Exact LoRA(FedExLoRA)を提案する。 提案手法は,LoRAの効率を保ちながら,計算と通信のオーバーヘッドを最小限に抑えた正確な更新を実現する。
  論文  参考訳（メタデータ） (2024-10-12T08:22:44Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models [43.26028399395612]
  本稿では,2つの新しい手法を用いたフィッシャー情報に基づく効率的なカリキュラムフェデレート学習フレームワーク(FibecFed)を提案する。 まず,各装置内のデータを適応的にサンプリングし,FL微調整プロセスの有効性を向上させるための漁師情報に基づく手法を提案する。 第2に,グローバルアグリゲーションのための適切なレイヤとLoRAによるローカル更新のためのスパースパラメータを動的に選択する。
  論文  参考訳（メタデータ） (2024-09-30T18:12:18Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis [0.7751705157998379]
  十分に注釈付けされた医療データセットの不足は、ImageNetのような広範なデータセットやCLIPのような事前訓練されたモデルからの移行学習を活用する必要がある。 モデルスープは、In-Domain(ID)タスクのパフォーマンスを改善し、out-of-Distribution(OOD)データセットに対する堅牢性を高めることを目的とした、複数の微調整されたモデルの平均である。 本稿では,様々なレベルのモデルの局所的および大域的集約を伴う階層的統合手法を提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:48:48Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation [77.62366712130196]
  マルチドメイン MetaLWOz データセットに微調整した GPT-2 に基づくハイブリッド生成・検索モデル DSTC8 の高速領域適応タスクにおける入賞条件について述べる。 提案モデルでは,MetaLWOz上の解析論理をフォールバックとして使用し,人間の評価におけるSoTA(第2位システムよりも4%向上)と,未知のMultiWOZデータセットに適応した競合一般化性能を実現する。
  論文  参考訳（メタデータ） (2020-03-03T18:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。