論文の概要: Ensembles of Low-Rank Expert Adapters
- arxiv url: http://arxiv.org/abs/2502.00089v1
- Date: Fri, 31 Jan 2025 18:07:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:21:53.23947
- Title: Ensembles of Low-Rank Expert Adapters
- Title（参考訳）: 低ランクエキスパートアダプタの集合
- Authors: Yinghao Li, Vianne Gao, Chao Zhang, MohamadAli Torkamani,
- Abstract要約: 本稿では,多種多様なタスクを扱うモデルの能力を向上させるために,低ランクエキスパートアダプタ(ELREA)フレームワークの組み立てを提案する。
ELREAは、トレーニング指示をその勾配方向に基づいてクラスタ化し、さまざまな専門分野を表現している。
推論中、ELREAは、入力データの勾配とトレーニングクラスタとの類似性に基づいて、最も関連する専門家アダプタからの予測を組み合わせる。
- 参考スコア（独自算出の注目度）: 9.599957499802446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The training and fine-tuning of large language models (LLMs) often involve diverse textual data from multiple sources, which poses challenges due to conflicting gradient directions, hindering optimization and specialization. These challenges can undermine model generalization across tasks, resulting in reduced downstream performance. Recent research suggests that fine-tuning LLMs on carefully selected, task-specific subsets of data can match or even surpass the performance of using the entire dataset. Building on these insights, we propose the Ensembles of Low-Rank Expert Adapters (ELREA) framework to improve the model's capability to handle diverse tasks. ELREA clusters the training instructions based on their gradient directions, representing different areas of expertise and thereby reducing conflicts during optimization. Expert adapters are then trained on these clusters, utilizing the low-rank adaptation (LoRA) technique to ensure training efficiency and model scalability. During inference, ELREA combines predictions from the most relevant expert adapters based on the input data's gradient similarity to the training clusters, ensuring optimal adapter selection for each task. Experiments show that our method outperforms baseline LoRA adapters trained on the full dataset and other ensemble approaches with similar training and inference complexity across a range of domain-specific tasks.
- Abstract（参考訳）: 大規模言語モデル(LLM)の訓練と微調整は、複数のソースからの多様なテキストデータを含むことが多い。
これらの課題は、タスク間のモデル一般化を損なう可能性があり、結果として下流のパフォーマンスが低下する。
近年の研究では、慎重に選択されたタスク固有のデータサブセット上の微調整LDMが、データセット全体の使用パフォーマンスにマッチするか、さらに上回っていることが示唆されている。
これらの知見に基づいて、多様なタスクを扱うモデルの能力を改善するために、低ランクエキスパートアダプタ(ELREA)フレームワークの組み立てを提案する。
ELREAは、トレーニング指示をその勾配方向に基づいてクラスタ化し、異なる専門分野を表現し、最適化中の競合を減らす。
エキスパートアダプタはこれらのクラスタ上でトレーニングされ、ローランク適応(LoRA)技術を使用してトレーニング効率とモデルのスケーラビリティを確保する。
推論中、ELREAは、入力データの勾配とトレーニングクラスタとの類似性に基づいて、最も関連する専門家アダプタからの予測を組み合わせ、各タスクに最適なアダプタ選択を保証します。
実験により,本手法は,全データセットおよび他のアンサンブルアプローチに基づいてトレーニングされたベースラインLoRAアダプタよりも優れており,類似したトレーニングや推論の複雑さが,ドメイン固有のタスクの範囲にまたがっていることがわかった。
関連論文リスト
- A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation [16.82426251068573]
リンク予測(LP)は、グラフ機械学習において重要なタスクである。
既存の手法は、疎結合性からの限られた監督を含む重要な課題に直面している。
これらの課題に対処するためのソリューションとして,事前学習について検討する。
論文 参考訳（メタデータ） (2025-08-06T17:10:31Z) - IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment [29.703775936837012]
大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。
複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。
混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化する革新的なデータ平衡フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T06:42:44Z) - HBO: Hierarchical Balancing Optimization for Fine-Tuning Large Language Models [71.12193680015622]
多様なデータセット上の微調整された大きな言語モデルは、データの不均衡と不均一性による課題を引き起こす。
本稿では,LLMがデータアロケーションを自律的に調整できる新しい手法である階層的バランシング最適化(HBO)を紹介する。
我々は,多言語およびマルチタスク設定において,9つのタスクにまたがる3つのLLMバックボーン上でHBOを評価する。
論文 参考訳（メタデータ） (2025-05-18T08:31:44Z) - FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。
ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。
本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
論文 参考訳（メタデータ） (2025-03-20T04:49:40Z) - Federated Continual Instruction Tuning [39.344583304181135]
フェデレートラーニング(FL)は、すべての分散データとトレーニングリソースを活用して、共同トレーニングのオーバーヘッドを軽減する可能性がある。
我々は,この現実的な課題をモデル化するために,FCIT(Federated Continual Instruction Tuning)ベンチマークを導入する。
提案手法は, 様々なレベルのデータと大惨な忘れを伴って, モデル性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-03-17T07:58:06Z) - Aligning Instruction Tuning with Pre-training [81.4748965653345]
そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。
8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2025-01-16T08:27:40Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z) - ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning [29.001249598245]
Reward-Oriented inStruction data sElectionを導入し、タスク固有の命令チューニングのためのデータ選択を最適化する。
ROSEは、最もタスク関連のトレーニングデータポイントを選択するために、数ショットの選好検証セットに対するトレーニングデータポイントの影響を近似するために影響定式化を適用する。
論文 参考訳（メタデータ） (2024-12-01T01:01:09Z) - Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
本稿では,テスト時間分布シフトを同時に処理するフェデレートデュアルパーソナライズアダプタアーキテクチャを提案する。
提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
論文 参考訳（メタデータ） (2024-03-28T08:19:33Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳（メタデータ） (2024-02-06T19:18:04Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-16T21:51:04Z) - An Optimization-Based Meta-Learning Model for MRI Reconstruction with
Diverse Dataset [4.9259403018534496]
メタラーニングフレームワークを用いた一般化可能なMRI再構成モデルを構築した。
提案するネットワークは,学習者適応モデルを用いて正規化関数を学習する。
メタトレーニング後および半減期における未確認課題の即時訓練の結果を検証した。
論文 参考訳（メタデータ） (2021-10-02T03:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。