論文の概要: Pretraining on the Test Set Is All You Need
- arxiv url: http://arxiv.org/abs/2309.08632v1
- Date: Wed, 13 Sep 2023 19:47:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-24 04:06:26.814526
- Title: Pretraining on the Test Set Is All You Need
- Title(参考訳): テストセットの事前トレーニングは、必要なだけである
- Authors: Rylan Schaeffer
- Abstract要約: パラメータ変換器をベースとした LLM textbfphi-CTNL をプレトレーニングし、様々な学術ベンチマークで完全な結果を得る。
textbfphi-CTNLはまた、パワーロースケーリングを破り、ダウンストリーム評価ベンチマークのカナリアを正確に予測する、前例のないグラッキングのような能力を示す。
- 参考スコア(独自算出の注目度): 6.322449198012633
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Inspired by recent work demonstrating the promise of smaller
Transformer-based language models pretrained on carefully curated data, we
supercharge such approaches by investing heavily in curating a novel, high
quality, non-synthetic data mixture based solely on evaluation benchmarks.
Using our novel dataset mixture consisting of less than 100 thousand tokens, we
pretrain a 1 million parameter transformer-based LLM \textbf{phi-CTNL}
(pronounced ``fictional") that achieves perfect results across diverse academic
benchmarks, strictly outperforming all known foundation models.
\textbf{phi-CTNL} also beats power-law scaling and exhibits a never-before-seen
grokking-like ability to accurately predict downstream evaluation benchmarks'
canaries.
- Abstract(参考訳): 最近の研究は、慎重にキュレートされたデータに基づいて事前訓練されたより小さなトランスフォーマーベースの言語モデルの実現を実証することから着想を得て、評価ベンチマークのみに基づく新しい高品質な非合成データ混合物のキュレーションに多大な投資をすることで、そのようなアプローチをスーパーチャージする。
1万以下のトークンからなる新しいデータセット混合物を使用して、我々は100万のパラメータートランスフォーマティブベースのllm \textbf{phi-ctnl} (`fictional'と発音する)をプリトレーニングし、様々な学術ベンチマークで完璧な結果を得る。
\textbf{phi-CTNL} はまた、パワーローのスケーリングを破り、ダウンストリーム評価ベンチマークのカナリアを正確に予測する、予期せぬグラッキングのような能力を示す。
関連論文リスト
- Improving Text Embeddings with Large Language Models [63.503320030117145]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。
プロプライエタリなLLMを利用して、100近い言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成します。
実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-31T02:13:18Z) - MELEP: A Novel Predictive Measure of Transferability in Multi-Label ECG
Analysis [1.534667887016089]
本稿では,事前学習したモデルから,複数ラベル設定の下流タスクへの知識伝達がいかに効果的であるかを推定する新しい尺度であるMELEPを紹介する。
我々は,多ラベルECG分類問題に対するそのような伝達可能性指標を最初に開発した。
論文 参考訳(メタデータ) (2023-10-27T14:57:10Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data
Generation for Cross-Lingual Learning in Tweet Intimacy Prediction [3.1798318618973362]
本稿では,SemEval 2023 Task 9「Multilingual Tweet Intimacy Analysis」に対するUZH_CLypの提出について述べる。
公式なピアソン相関回帰評価尺度により,全10言語で2番目に高い結果を得た。
論文 参考訳(メタデータ) (2023-03-02T12:18:53Z) - SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文 参考訳(メタデータ) (2022-10-06T15:25:00Z) - Confidence-Guided Data Augmentation for Deep Semi-Supervised Training [0.9968241071319184]
特徴空間の最も困難な領域からの学習を強調する半教師付き学習設定のための新しいデータ拡張手法を提案する。
CIFAR-100とSTL-10の2つのベンチマークRGBデータセットを用いて実験を行い、提案手法が精度とロバスト性の観点から分類性能を向上させることを示す。
論文 参考訳(メタデータ) (2022-09-16T21:23:19Z) - ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient
Zero-Shot Learning [97.2907428983142]
ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。
金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-25T11:38:48Z) - Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文 参考訳(メタデータ) (2020-10-05T23:37:30Z) - BLEURT: Learning Robust Metrics for Text Generation [17.40369189981227]
BERTに基づく学習評価指標BLEURTを提案する。
このアプローチの重要な側面は、モデルを一般化するのに役立つ数百万の合成例を使用する、新しい事前学習方式である。
BLEURTは、WMT Metrics共有タスクとWebNLGコンペティションデータセットの最後の3年間について、最先端の結果を提供する。
論文 参考訳(メタデータ) (2020-04-09T17:26:52Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。