論文の概要: An Empirical Exploration in Quality Filtering of Text Data
- arxiv url: http://arxiv.org/abs/2109.00698v1
- Date: Thu, 2 Sep 2021 04:02:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-04 01:26:08.220778
- Title: An Empirical Exploration in Quality Filtering of Text Data
- Title(参考訳): テキストデータの品質フィルタリングにおける実証的探索
- Authors: Leo Gao
- Abstract要約: GPT型言語モデルにおいて、アグレッシブフィルタリングは、幅広い下流タスクにおけるモデル品質の低下につながることが判明した。
これは、プロキシメトリックに対して十分に強く最適化することが、真の目的に対するパフォーマンスを損なうためである、と推測する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While conventional wisdom suggests that more aggressively filtering data from
low-quality sources like Common Crawl always monotonically improves the quality
of training data, we find that aggressive filtering can in fact lead to a
decrease in model quality on a wide array of downstream tasks for a GPT-like
language model. We speculate that this is because optimizing sufficiently
strongly for a proxy metric harms performance on the true objective, suggesting
a need for more robust filtering objectives when attempting to filter more
aggressively. We hope this work leads to detailed analysis of the effects of
dataset filtering design choices on downstream model performance in future
work.
- Abstract(参考訳): 従来の知見では、コモンクロールのような低品質ソースからのデータをより積極的にフィルタリングすることはトレーニングデータの品質を常に単調に改善することを示唆しているが、アグレッシブフィルタリングはgptライクな言語モデルのための幅広い下流タスクのモデル品質を低下させる可能性がある。
これは、プロキシメトリックを十分に強く最適化することが、真の目的の性能を損なうためであり、より積極的にフィルタリングしようとする際に、より堅牢なフィルタリング目的の必要性が示唆されるためである。
この作業が、今後の作業におけるダウンストリームモデルパフォーマンスに対するデータセットフィルタリング設計選択の影響の詳細な分析につながることを願っている。
関連論文リスト
- Superfiltering: Weak-to-Strong Data Filtering for Fast
Instruction-Tuning [44.958387736944466]
より小さく弱いモデルを使って、より大きくより強いモデルを微調整できるだろうか?
これにより、より小さく、より効率的なモデルを使用して、より大きな言語モデルをトレーニングするために使用される命令データをフィルタリングすることができる。
主にデータフィルタリングを高速化するだけでなく、フィルタリングされたデータ精細のLLMは、標準ベンチマークでさらにパフォーマンスが向上する。
論文 参考訳(メタデータ) (2024-02-01T11:57:53Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳(メタデータ) (2024-01-23T17:22:00Z) - Data Filtering Networks [67.827994353269]
本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。
我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。
我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
論文 参考訳(メタデータ) (2023-09-29T17:37:29Z) - The Devil is in the Details: A Deep Dive into the Rabbit Hole of Data
Filtering [23.68112988933411]
本稿では,DataComp チャレンジに参加する際の学習と解決について述べる。
我々のフィルタリング戦略は, 単一モダリティフィルタリング, クロスモダリティフィルタリング, データ分散アライメントの3段階を含む。
提案手法は,3つのタスクの平均的なパフォーマンスに対して4%以上,ImageNetでは2%以上,DataComp論文のベストメソッドよりも優れています。
論文 参考訳(メタデータ) (2023-09-27T19:10:43Z) - Towards Consistency Filtering-Free Unsupervised Learning for Dense
Retrieval [28.959643428359705]
ドメイン転送は、現代のニューラル情報検索(IR)における一般的な課題である
本研究では、一貫性フィルタを、直接擬似ラベル付け、擬似関連フィードバック、教師なしキーワード生成手法に置き換えることにより、より効率的な解を評価する。
論文 参考訳(メタデータ) (2023-08-05T17:33:51Z) - Make Every Example Count: On the Stability and Utility of Self-Influence
for Learning from Noisy NLP Datasets [4.142507103595571]
データクリーニングのためのトレーニング例のタスク非依存自己影響スコアの適合性について検討した。
自然発生の異常者を捕獲する効果を解析する。
論文 参考訳(メタデータ) (2023-02-27T17:00:06Z) - Filter-enhanced MLP is All You Need for Sequential Recommendation [89.0974365344997]
オンラインプラットフォームでは、ログされたユーザの行動データはノイズを含まないことは避けられない。
周波数領域の雑音を減衰させる信号処理から,フィルタアルゴリズムのアイデアを借用する。
逐次レコメンデーションタスクのための学習可能なフィルタを備えたオールMLPモデルである textbfFMLP-Rec を提案する。
論文 参考訳(メタデータ) (2022-02-28T05:49:35Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z) - Filter Grafting for Deep Neural Networks: Reason, Method, and
Cultivation [86.91324735966766]
フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである
本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。
我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
論文 参考訳(メタデータ) (2020-04-26T08:36:26Z) - Adversarial Filters of Dataset Biases [96.090959788952]
大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。
それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。
このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
論文 参考訳(メタデータ) (2020-02-10T21:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。