論文の概要: Data-Efficient Pretraining with Group-Level Data Influence Modeling

• arxiv url: http://arxiv.org/abs/2502.14709v1
• Date: Thu, 20 Feb 2025 16:34:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:26.155454
• Title: Data-Efficient Pretraining with Group-Level Data Influence Modeling
• Title（参考訳）: グループレベルデータ影響モデリングによるデータ効率の良い事前学習
• Authors: Zichun Yu, Fei Peng, Jie Lei, Arnold Overwijk, Wen-tau Yih, Chenyan Xiong,
• Abstract要約: グループレベルデータ影響モデリング(Group-MATES)は、新しいデータ効率事前学習手法である。 Group-MATESは、事前学習モデルをデータセットで局所的に探索することで、オラクルグループレベルの影響を収集する。 その後、関係データの影響モデルを微調整し、個々の影響の相関重み付けとしてオラクルを近似する。
• 参考スコア（独自算出の注目度）: 49.18903821780051
• License:
• Abstract: Data-efficient pretraining has shown tremendous potential to elevate scaling laws. This paper argues that effective pretraining data should be curated at the group level, treating a set of data points as a whole rather than as independent contributors. To achieve that, we propose Group-Level Data Influence Modeling (Group-MATES), a novel data-efficient pretraining method that captures and optimizes group-level data utility. Specifically, Group-MATES collects oracle group-level influences by locally probing the pretraining model with data sets. It then fine-tunes a relational data influence model to approximate oracles as relationship-weighted aggregations of individual influences. The fine-tuned model selects the data subset by maximizing its group-level influence prediction, with influence-aware clustering to enable efficient inference. Experiments on the DCLM benchmark demonstrate that Group-MATES achieves a 10% relative core score improvement on 22 downstream tasks over DCLM-Baseline and 5% over individual-influence-based methods, establishing a new state-of-the-art. Further analyses highlight the effectiveness of relational data influence models in capturing intricate interactions between data points.
• Abstract（参考訳）: データ効率のよい事前トレーニングは、スケーリング法則を高くする大きな可能性を示している。 本稿は,データ集合を独立したコントリビュータとしてではなく,全体として扱うことにより,効果的な事前学習データをグループレベルでキュレートすべきである,と論じる。 そこで本研究では,グループレベルのデータユーティリティをキャプチャし,最適化する,新しいデータ効率事前学習手法であるGroup-Level Data Influence Modeling (Group-MATES)を提案する。 特に、Group-MATESは、事前学習モデルをデータセットで局所的に探索することで、オラクルグループレベルの影響を収集する。 その後、関係データの影響モデルを微調整し、個々の影響の相関重み付けとしてオラクルを近似する。 微調整モデルでは、グループレベルの影響予測を最大化してデータサブセットを選択する。 DCLMベンチマークの実験によると、Group-MATESはDCLM-Baselineよりも22のダウンストリームタスクで10%、個々のインフルエンスベースのメソッドで5%のスコア改善を実現し、新しい最先端技術を確立している。 さらに、データポイント間の複雑な相互作用を捉える上で、関係データの影響モデルの有効性を強調した。

関連論文リスト

• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Dataset Distillation-based Hybrid Federated Learning on Non-IID Data [19.01147151081893]
  本稿では,データセット蒸留を統合して,独立および等分散(IID)データを生成するハイブリッド・フェデレーション学習フレームワークHFLDDを提案する。 クライアントを異種クラスタに分割し、クラスタ内の異なるクライアント間でのデータラベルがバランスが取れないようにします。 このトレーニングプロセスは、従来のIDデータに対するフェデレーション学習に似ているため、モデルトレーニングにおける非IIDデータの影響を効果的に軽減する。
  論文  参考訳（メタデータ） (2024-09-26T03:52:41Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models [16.654859430784825]
  手作りのルールやより大きな参照モデルに依存する現在のデータ選択方法は、静的に行われ、事前訓練中に進化するデータ優先をキャプチャしない。 データ影響モデル(MATES)を用いたモデル認識データ選択を導入し、データ影響モデルが事前学習モデルの進化するデータ嗜好に継続的に適応し、現在の事前学習の進行に最も有効なデータを選択する。 C4データセット上で410Mと1Bモデルを事前訓練した実験により、MATESは広範囲な下流タスクにおいてランダムなデータ選択を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-06-10T06:27:42Z)
• Efficient Online Data Mixing For Language Model Pre-Training [101.45242332613944]
  既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。 一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。 我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-05T00:42:35Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• Adaptive Sampling Strategies to Construct Equitable Training Datasets [0.7036032466145111]
  コンピュータビジョンから自然言語処理までの領域では、機械学習モデルがスタークの相違を示すことが示されている。 これらのパフォーマンスギャップに寄与する要因の1つは、モデルがトレーニングしたデータに表現力の欠如である。 公平なトレーニングデータセットを作成する際の問題を形式化し、この問題に対処するための統計的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-31T19:19:30Z)
• Representation Matters: Assessing the Importance of Subgroup Allocations in Training Data [85.43008636875345]
  訓練データにおける多様な表現は,サブグループのパフォーマンス向上と集団レベルの目標達成の鍵である。 分析と実験は、データセット構成がパフォーマンスにどのように影響するかを説明し、既存のデータにおけるトレンドとドメイン知識を用いて、意図的かつ客観的なデータセット設計を導くのに役立つ構成結果を提供する。
  論文  参考訳（メタデータ） (2021-03-05T00:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。