論文の概要: A Diversity Diet for a Healthier Model: A Case Study of French ModernBERT

• arxiv url: http://arxiv.org/abs/2602.22014v1
• Date: Wed, 25 Feb 2026 15:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.882698
• Title: A Diversity Diet for a Healthier Model: A Case Study of French ModernBERT
• Title（参考訳）: 健康モデルのための多様性ダイエット : フレンチ・モダンバートを事例として
• Authors: Louis Estève, Christophe Servan, Thomas Lavergne, Agata Savary,
• Abstract要約: 多様性駆動型サンプリングにより、ランダムにサンプリングされたコンメンシュレートサイズの事前学習データに対して10ポイントを得ることができることが判明した。 多様性駆動の1億5000万トークンのデータセット上で483hで事前トレーニングされたモデルは、ランダムに駆動された2.4Bトークンのデータセット上で1,775hで事前トレーニングされたモデルに対して、複合的なパフォーマンスが得られる。
• 参考スコア（独自算出の注目度）: 5.395633523225039
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diversity has been gaining interest in the NLP community in recent years. At the same time, state-of-the-art transformer models such as ModernBERT use very large pre-training datasets, which are driven by size rather than by diversity. This summons for an investigation of the impact of diversity on the ModernBERT pre-training. We do so in this study, with the express intent of reducing pre-training dataset size, while retaining at least comparable performance. We compare diversity-driven sampling algorithms, so as to pick the best one. We find that diversity-driven sampling allows in some tasks to gain 10 points relative to randomly-sampled pre-training data of commensurate size. We also see that a model pre-trained for 483h on a diversity-driven dataset of 150M tokens can yield a commensurate performance to a model pre-trained for 1,775h on a randomly-driven dataset of 2.4B tokens.
• Abstract（参考訳）: 多様性は近年,NLPコミュニティへの関心が高まっている。 同時に、ModernBERTのような最先端のトランスフォーマーモデルは、多様性ではなくサイズによって駆動される非常に大きな事前トレーニングデータセットを使用している。 これは、多様性がModernBERT事前訓練に与える影響の調査を呼び起こす。 この研究では、トレーニング済みデータセットのサイズを減らしつつ、少なくとも同等のパフォーマンスを維持することを目的としている。 多様性駆動型サンプリングアルゴリズムを比較し,最適なアルゴリズムを選択する。 多様性駆動型サンプリングにより、ランダムにサンプリングされたコンメンシュレートサイズの事前学習データに対して10ポイントを得ることができることが判明した。 また、多様性駆動型1億5000万トークンのデータセット上で483hで事前トレーニングされたモデルでは、ランダム駆動型2.4Bトークンのデータセット上で1,775hで事前トレーニングされたモデルに対して、余剰性能が得られる。

関連論文リスト

• Is Diversity All You Need for Scalable Robotic Manipulation? [50.747150672933316]
  ロボット学習におけるデータ多様性の役割について,従来の「より多様な方がよい」という直観に固執する3つの重要な次元(タスク),実施形態(ロボットの使用方法),専門家(専門家)を用いて検討する。 タスクの多様性は、タスクごとのデモンストレーション量よりも重要であり、多様な事前学習タスクから新しい下流シナリオへの移行に有効であることを示す。 本稿では,速度のあいまいさを緩和する分散デバイアス法を提案する。GO-1-Proは,2.5倍の事前学習データを用いて,15%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-07-08T17:52:44Z)
• Exploring the Efficacy of Meta-Learning: Unveiling Superior Data Diversity Utilization of MAML Over Pre-training [1.3980986259786223]
  データセットの多様性が視覚モデルの性能に影響を及ぼすことを示す。 本研究は,テストセットの精度とデータの多様性との間に正の相関関係を示す。 これらの結果は我々の仮説を支持し、形式的なデータの多様性がモデルの性能にどのように影響するかをより深く探究するための有望な方法を示す。
  論文  参考訳（メタデータ） (2025-01-15T00:56:59Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• Scaling Laws for Generative Mixed-Modal Language Models [103.25737824352949]
  個別のモダリティの貢献とそれら間の相互作用を統一する混合モードスケーリング法則について報告する。 具体的には、過去のユニモーダルスケーリング法則に対する加算項として、データとモデルサイズによる最適シナジーと競合を明示的にモデル化する。 また,訓練中に観察される4つの経験的現象,例えば,自然にモダリティを交互に交互に行う創発的コーディネート・アセット・スタイル・トレーニングを見出した。
  論文  参考訳（メタデータ） (2023-01-10T00:20:06Z)
• Balancing Constraints and Submodularity in Data Subset Selection [43.03720397062461]
  より少ないトレーニングデータを用いて、従来のディープラーニングモデルと同様の精度が得られることを示す。 新たな多様性駆動客観的関数を提案し,マトロイドを用いたクラスラベルと決定境界の制約のバランスをとる。
  論文  参考訳（メタデータ） (2021-04-26T19:22:27Z)
• Reinforced Data Sampling for Model Diversification [15.547681142342846]
  本稿では,データを適切にサンプリングする方法を学ぶための新しいReinforced Data Smpling (RDS)法を提案する。 モデルダイバーシフィケーションの最適化問題である$delta-div$をデータサンプリングで定式化し,モデルダイバーシフィケーションを注入することで学習ポテンシャルと最適アロケーションを最大化する。 モデル多様化のためのトレーニング可能なサンプリングは,各種機械学習タスクの潜在能力を追求する競技組織,研究者,さらには開始者にとって有用であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-12T11:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。