Fugu-MT 論文翻訳(概要): A Bitter Lesson for Data Filtering

論文の概要: A Bitter Lesson for Data Filtering

arxiv url: http://arxiv.org/abs/2605.19407v1
Date: Tue, 19 May 2026 06:02:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-20 15:03:09.153471
Title: A Bitter Lesson for Data Filtering
Title（参考訳）: データフィルタリングのためのビターレッスン
Abstract要約: 十分に訓練された大きなパラメータモデルは、品質の低いデータを許容するだけでなく、実際は名目上は貧弱なデータの恩恵を受ける。
参考スコア（独自算出の注目度）: 50.6467354069187
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate data filtering for large model pretraining via new scaling studies that target the high compute, data-scarce regime. In spite of an apparently common belief that filtering data to include only high-quality information is essential, our experiments suggest that with enough compute, the best data filter is no data filter. We find that sufficiently trained large parameter models not only tolerate low-quality and distractor data, but in fact benefit from nominally ``poor'' data.
Abstract（参考訳）: 本研究では,大規模モデル事前学習のためのデータフィルタリングについて,高計算・データスカース体制をターゲットにした新しいスケーリング研究を通して検討する。高品質な情報のみを含むようにデータをフィルタリングすることが重要であるという、明らかに一般的な信念にもかかわらず、我々の実験は、十分な計算量があれば、最良のデータフィルタはデータフィルタではないことを示唆している。十分に訓練された大きなパラメータモデルは、品質の低いデータや乱雑なデータを許容するだけでなく、名目上‘粗悪な’データから恩恵を受ける。

関連論文リスト

Understanding the Gain from Data Filtering in Multimodal Contrastive Learning [58.09454096371477]
本稿では,標準バイモーダルデータ生成モデルの下でのフィルタ付きコントラスト学習の成功例を示す。教師ベースのフィルタリングの誤差は、大きな$$レジアでは$frac1sqrtn$、小さな$レジアでは$frac1sqrtn$によって上限づけられていることを示す。
論文参考訳（メタデータ） (2025-12-16T09:28:38Z)
LARP: Learner-Agnostic Robust Data Prefiltering [5.530212768657544]
我々はLearner-Agnostic Robust Data Prefiltering (LARP)の問題を定式化する。理論的には, LARPを学習者の不均一なセットで実行すると, モデル性能が低下することが示唆された。結果の効用損失とその問題パラメータへの依存性について検討する。
論文参考訳（メタデータ） (2025-06-25T16:07:59Z)
Who's in and who's out? A case study of multimodal CLIP-filtering in DataComp [13.749279800238092]
画像テキストデータフィルタリングにはバイアスがあり、値レイデンであることを示す。いくつかの差し迫った人口集団に関するデータは、排除率の上昇に関連している。私たちの結論は、データセットの作成とフィルタリングのプラクティスに根本的な変更が必要であることを示している。
論文参考訳（メタデータ） (2024-05-13T21:53:06Z)
From Data Deluge to Data Curation: A Filtering-WoRA Paradigm for Efficient Text-based Person Search [30.88999109835329]
テキストベースの人物検索では、プライバシ保護と手動アノテーションの困難なタスクに対する懸念に対処するため、データ生成が主流となっている。構築されたデータセット内のデータのサブセットのみが決定的な役割を果たすことを観察する。我々は、この重要なデータサブセットを識別するためのフィルタリングアルゴリズムと、光微細チューニングのためのWoRA学習戦略を含む新しいフィルタリング-WoRAパラダイムを導入する。
論文参考訳（メタデータ） (2024-04-16T05:29:14Z)
Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic [99.3682210827572]
ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
論文参考訳（メタデータ） (2024-04-10T17:27:54Z)
Data Filtering Networks [67.827994353269]
本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
論文参考訳（メタデータ） (2023-09-29T17:37:29Z)
A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
論文参考訳（メタデータ） (2023-05-22T15:57:53Z)
An Empirical Exploration in Quality Filtering of Text Data [0.0]
GPT型言語モデルにおいて、アグレッシブフィルタリングは、幅広い下流タスクにおけるモデル品質の低下につながることが判明した。これは、プロキシメトリックに対して十分に強く最適化することが、真の目的に対するパフォーマンスを損なうためである、と推測する。
論文参考訳（メタデータ） (2021-09-02T04:02:51Z)
Adversarial Filters of Dataset Biases [96.090959788952]
大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
論文参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。