論文の概要: SMART: Submodular Data Mixture Strategy for Instruction Tuning
- arxiv url: http://arxiv.org/abs/2403.08370v3
- Date: Sat, 13 Jul 2024 11:01:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 01:35:33.485394
- Title: SMART: Submodular Data Mixture Strategy for Instruction Tuning
- Title（参考訳）: SMART:インストラクションチューニングのためのサブモジュールデータ混合戦略
- Authors: H S V N S Kowndinya Renduchintala, Sumit Bhatia, Ganesh Ramakrishnan,
- Abstract要約: SMART(Submodular Data Mixture strAtegy for InstRuction Tuning)を新たなデータ混合戦略として紹介する。
微調整の予算が与えられると、SMARTはタスク間で予算を再分配し、各タスクから非冗長サンプルを選択する。
- 参考スコア（独自算出の注目度）: 26.208331792600195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction Tuning involves finetuning a language model on a collection of instruction-formatted datasets in order to enhance the generalizability of the model to unseen tasks. Studies have shown the importance of balancing different task proportions during finetuning, but finding the right balance remains challenging. Unfortunately, there's currently no systematic method beyond manual tuning or relying on practitioners' intuition. In this paper, we introduce SMART (Submodular data Mixture strAtegy for instRuction Tuning) - a novel data mixture strategy which makes use of a submodular function to assign importance scores to tasks which are then used to determine the mixture weights. Given a fine-tuning budget, SMART redistributes the budget among tasks and selects non-redundant samples from each task. Experimental results demonstrate that SMART significantly outperforms traditional methods such as examples proportional mixing and equal mixing. Furthermore, SMART facilitates the creation of data mixtures based on a few representative subsets of tasks alone and through task pruning analysis, we reveal that in a limited budget setting, allocating budget among a subset of representative tasks yields superior performance compared to distributing the budget among all tasks. The code for reproducing our results is open-sourced at https://github.com/kowndinya-renduchintala/SMART.
- Abstract（参考訳）: インストラクションチューニングは、予測できないタスクへのモデルの一般化性を高めるために、命令形式データセットの集合上の言語モデルを微調整する。
研究では、微調整中に異なるタスク比率のバランスをとることの重要性が示されているが、適切なバランスを見つけることは依然として困難である。
残念ながら、現在手作業のチューニングや実践者の直感に頼るような体系的な方法はありません。
本稿では,SMART(Submodular Data Mixture strAtegy for InstRuction Tuning)について紹介する。
微調整の予算が与えられると、SMARTはタスク間で予算を再分配し、各タスクから非冗長サンプルを選択する。
実験の結果,SMARTは比例混合や等混合など従来の手法よりも有意に優れていた。
さらに,SMARTは,タスクの代表的なサブセットのみに基づくデータミックスの作成を容易にし,タスクプルーニング分析を通じて,限られた予算設定において,代表タスクのサブセットに予算を割り当てることで,すべてのタスクに予算を分配するよりも優れたパフォーマンスが得られることを明らかにした。
結果の再現コードはhttps://github.com/kowndinya-renduchintala/SMART.comで公開されている。
関連論文リスト
- Coreset-Based Task Selection for Sample-Efficient Meta-Reinforcement Learning [1.2952597101899859]
モデル非依存型メタ強化学習(MAML-RL)におけるサンプル効率向上のためのタスク選択の検討
勾配空間におけるタスクの多様性に基づいて,タスクの重み付きサブセットを選択する,コアセットベースのタスク選択手法を提案する。
複数のRLベンチマーク問題にまたがるこの傾向を数値的に検証し,LQRベースラインを越えたタスク選択の利点について考察した。
論文 参考訳（メタデータ） (2025-02-04T14:09:00Z) - Task Arithmetic in Trust Region: A Training-Free Model Merging Approach to Navigate Knowledge Conflicts [13.356826891549856]
マルチタスクモデルマージは、複数の微調整されたモデルから知識を統合するための効率的なソリューションを提供する。
Task Arithmetic (TA) の有望なパフォーマンスにもかかわらず、タスクベクトル間で衝突が発生する可能性がある。
本稿では,信頼領域をモデルパラメータ空間の次元として定義するタスク算術的信頼領域(TATR)を提案する。
論文 参考訳（メタデータ） (2025-01-25T04:09:56Z) - ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning [29.001249598245]
Reward-Oriented inStruction data sElectionを導入し、タスク固有の命令チューニングのためのデータ選択を最適化する。
ROSEは、最もタスク関連のトレーニングデータポイントを選択するために、数ショットの選好検証セットに対するトレーニングデータポイントの影響を近似するために影響定式化を適用する。
論文 参考訳（メタデータ） (2024-12-01T01:01:09Z) - Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
モデルマージのための適応重み分散法を提案する。
余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
論文 参考訳（メタデータ） (2024-11-27T20:08:55Z) - Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - Dynamic Data Mixing Maximizes Instruction Tuning for Mixture-of-Experts [20.202031878825153]
そこで本研究では,MoE命令チューニングのための新しい動的データ混合手法を提案する。
MoEのトークンルーティングの好みにインスパイアされた私たちは、データセットレベルの表現を構築し、データセット間の微妙な違いをキャプチャします。
2つのMoEモデルの結果は、下流の知識と推論タスクとオープンエンドクエリの両方に対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-06-17T06:47:03Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - Curriculum Modeling the Dependence among Targets with Multi-task
Learning for Financial Marketing [26.80709680959278]
本稿では,複数順序依存型タスク学習のための事前情報統合モデル(textbfPIMM)を提案する。
PIMは、トレーニング中に下流タスクに転送するソフトサンプリング戦略により、真のラベル情報または先行タスク予測をランダムに選択する。
公開データセットと製品データセットのオフライン実験結果は、PIMMが最先端のベースラインを上回っていることを確認する。
論文 参考訳（メタデータ） (2023-04-25T07:55:16Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳（メタデータ） (2023-01-30T20:59:30Z) - Model ensemble instead of prompt fusion: a sample-specific knowledge
transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。
我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。
SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文 参考訳（メタデータ） (2022-10-23T01:33:16Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。