論文の概要: Swift Cross-Dataset Pruning: Enhancing Fine-Tuning Efficiency in Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2501.02432v1
• Date: Sun, 05 Jan 2025 03:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:42.939226
• Title: Swift Cross-Dataset Pruning: Enhancing Fine-Tuning Efficiency in Natural Language Understanding
• Title（参考訳）: Swiftのクロスデータセットプルーニング - 自然言語理解における微調整効率の向上
• Authors: Binh-Nguyen Nguyen, Yang He,
• Abstract要約: 現在の微調整のためのクロスデータセットプルーニング技術は、しばしば計算に高価なサンプルランキングプロセスに依存している。 我々は,TF-IDF埋め込みと幾何中央値を用いたSwift Cross-Dataset Pruning (SCDP)を提案する。 6つの多様なデータセットに対する実験結果から,様々なタスクやスケールにまたがる手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 2.379669478864599
• License:
• Abstract: Dataset pruning aims to select a subset of a dataset for efficient model training. While data efficiency in natural language processing has primarily focused on within-corpus scenarios during model pre-training, efficient dataset pruning for task-specific fine-tuning across diverse datasets remains challenging due to variability in dataset sizes, data distributions, class imbalance and label spaces. Current cross-dataset pruning techniques for fine-tuning often rely on computationally expensive sample ranking processes, typically requiring full dataset training or reference models. We address this gap by proposing Swift Cross-Dataset Pruning (SCDP). Specifically, our approach uses TF-IDF embeddings with geometric median to rapidly evaluate sample importance. We then apply dataset size-adaptive pruning to ensure diversity: for smaller datasets, we retain samples far from the geometric median, while for larger ones, we employ distance-based stratified pruning. Experimental results on six diverse datasets demonstrate the effectiveness of our method, spanning various tasks and scales while significantly reducing computational resources. Source code is available at: https://github.com/he-y/NLP-Dataset-Pruning
• Abstract（参考訳）: Dataset pruningは、効率的なモデルトレーニングのためのデータセットのサブセットを選択することを目的としている。 自然言語処理におけるデータ効率は、主にモデル事前トレーニング中の企業内シナリオに重点を置いているが、データセットサイズ、データ分散、クラス不均衡、ラベル空間の変動により、さまざまなデータセットにわたるタスク固有の微調整のための効率的なデータセットプルーニングは、依然として困難である。 現在の微調整のためのクロスデータセットプルーニング技術は、通常、完全なデータセットトレーニングや参照モデルを必要とする、計算に高価なサンプルランキングプロセスに依存していることが多い。 Swift Cross-Dataset Pruning (SCDP)を提案することで、このギャップに対処する。 具体的には, TF-IDF埋め込みと幾何中央値を用いて, 試料の重要度を迅速に評価する。 次に、多様性を保証するためにデータセットサイズ適応プルーニングを適用し、より小さなデータセットでは、幾何学的中央値から遠く離れたサンプルを保持する一方、より大きなデータセットでは、距離ベースの成層プルーニングを採用する。 6つの多様なデータセットに対する実験結果から,計算資源を大幅に削減しつつ,様々なタスクやスケールにまたがる手法の有効性が示された。 ソースコードは、https://github.com/he-y/NLP-Dataset-Pruningで入手できる。

関連論文リスト

• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Rethinking Data Selection at Scale: Random Selection is Almost All You Need [39.14807071480125]
  教師付き微調整は、大規模言語モデルと人間の指示の整合に不可欠である。 既存のデータ選択技術の多くは、小規模なデータプール用に設計されている。
  論文  参考訳（メタデータ） (2024-10-12T02:48:34Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Embarassingly Simple Dataset Distillation [0.0]
  本研究は, 2段階最適化問題として直接扱うことにより, その中核におけるデータセットの蒸留に取り組む。 蒸留されたデータの性質を深く掘り下げると、相互相関が明らかになる。 異なるデータ予算にまたがって、ほぼ最適性能のサブセットを含む蒸留データセットを生成するブーピング機構を考案する。
  論文  参考訳（メタデータ） (2023-11-13T02:14:54Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Generating Data to Mitigate Spurious Correlations in Natural Language Inference Datasets [27.562256973255728]
  自然言語処理モデルはしばしば、タスクに依存しない特徴とデータセットのラベルの間の急激な相関を利用して、トレーニング対象のディストリビューション内でのみうまく機能する。 そこで本研究では, 脱バイアス化したデータセットを生成して, 脱バイアス化したオフザシェルフモデルをトレーニングする手法を提案する。 提案手法は,1)高品質なラベル一貫性のあるデータサンプルを生成するためのデータジェネレータの訓練方法,2)素粒子相関に寄与するデータ点を除去するフィルタリング機構から構成される。
  論文  参考訳（メタデータ） (2022-03-24T09:08:05Z)
• Cross-Dataset Collaborative Learning for Semantic Segmentation [17.55660581677053]
  我々は、Cross-Dataset Collaborative Learning (CDCL) と呼ばれる、単純で柔軟で汎用的なセマンティックセグメンテーション手法を提案する。 複数のラベル付きデータセットを付与することで、各データセット上の特徴表現の一般化と識別を改善することを目指しています。 単一データセットとクロスデータセットの設定で,Cityscapes,BDD100K,CamVid,COCO Stuffという4つの多様なデータセットに対して,広範な評価を行う。
  論文  参考訳（メタデータ） (2021-03-21T09:59:47Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)
• DAIL: Dataset-Aware and Invariant Learning for Face Recognition [67.4903809903022]
  顔認識の性能向上のためには、通常大規模なトレーニングデータセットが必要である。 2つの大きな問題のために異なるデータセットを自然に組み合わせるのは問題で面倒です。 トレーニング中に異なるデータセットの異なるクラスと同じ人を扱うことは、バックプロパゲーションに影響します。 手動でラベルをクリーニングするには 人的努力が要る 特に何百万もの画像と何千ものIDがある時は
  論文  参考訳（メタデータ） (2021-01-14T01:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。