論文の概要: Pretraining on the Test Set Is All You Need

• arxiv url: http://arxiv.org/abs/2309.08632v1
• Date: Wed, 13 Sep 2023 19:47:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-24 04:06:26.814526
• Title: Pretraining on the Test Set Is All You Need
• Title（参考訳）: テストセットの事前トレーニングは、必要なだけである
• Authors: Rylan Schaeffer
• Abstract要約: パラメータ変換器をベースとした LLM textbfphi-CTNL をプレトレーニングし、様々な学術ベンチマークで完全な結果を得る。 textbfphi-CTNLはまた、パワーロースケーリングを破り、ダウンストリーム評価ベンチマークのカナリアを正確に予測する、前例のないグラッキングのような能力を示す。
• 参考スコア（独自算出の注目度）: 6.322449198012633
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Inspired by recent work demonstrating the promise of smaller Transformer-based language models pretrained on carefully curated data, we supercharge such approaches by investing heavily in curating a novel, high quality, non-synthetic data mixture based solely on evaluation benchmarks. Using our novel dataset mixture consisting of less than 100 thousand tokens, we pretrain a 1 million parameter transformer-based LLM \textbf{phi-CTNL} (pronounced ``fictional") that achieves perfect results across diverse academic benchmarks, strictly outperforming all known foundation models. \textbf{phi-CTNL} also beats power-law scaling and exhibits a never-before-seen grokking-like ability to accurately predict downstream evaluation benchmarks' canaries.
• Abstract（参考訳）: 最近の研究は、慎重にキュレートされたデータに基づいて事前訓練されたより小さなトランスフォーマーベースの言語モデルの実現を実証することから着想を得て、評価ベンチマークのみに基づく新しい高品質な非合成データ混合物のキュレーションに多大な投資をすることで、そのようなアプローチをスーパーチャージする。 1万以下のトークンからなる新しいデータセット混合物を使用して、我々は100万のパラメータートランスフォーマティブベースのllm \textbf{phi-ctnl} (`fictional'と発音する)をプリトレーニングし、様々な学術ベンチマークで完璧な結果を得る。 \textbf{phi-CTNL} はまた、パワーローのスケーリングを破り、ダウンストリーム評価ベンチマークのカナリアを正確に予測する、予期せぬグラッキングのような能力を示す。

関連論文リスト

• Improving Pretraining Data Using Perplexity Correlations [56.41097718862742]
  我々は,パープレキシティ-ベンチマーク相関の推定を中心に,データ選択のための新しい統計フレームワークを構築した。 8つのベンチマークで1億6000万のパラメータスケールで事前トレーニングを行う場合,提案手法は各ベンチマークにおいてDSIRよりも優れる。
  論文  参考訳（メタデータ） (2024-09-09T17:23:29Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Improving Text Embeddings with Large Language Models [59.930513259982725]
  合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。 我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。 実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-31T02:13:18Z)
• UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data Generation for Cross-Lingual Learning in Tweet Intimacy Prediction [3.1798318618973362]
  本稿では,SemEval 2023 Task 9「Multilingual Tweet Intimacy Analysis」に対するUZH_CLypの提出について述べる。 公式なピアソン相関回帰評価尺度により,全10言語で2番目に高い結果を得た。
  論文  参考訳（メタデータ） (2023-03-02T12:18:53Z)
• Confidence-Guided Data Augmentation for Deep Semi-Supervised Training [0.9968241071319184]
  特徴空間の最も困難な領域からの学習を強調する半教師付き学習設定のための新しいデータ拡張手法を提案する。 CIFAR-100とSTL-10の2つのベンチマークRGBデータセットを用いて実験を行い、提案手法が精度とロバスト性の観点から分類性能を向上させることを示す。
  論文  参考訳（メタデータ） (2022-09-16T21:23:19Z)
• ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient Zero-Shot Learning [97.2907428983142]
  ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。 金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:38:48Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)
• BLEURT: Learning Robust Metrics for Text Generation [17.40369189981227]
  BERTに基づく学習評価指標BLEURTを提案する。 このアプローチの重要な側面は、モデルを一般化するのに役立つ数百万の合成例を使用する、新しい事前学習方式である。 BLEURTは、WMT Metrics共有タスクとWebNLGコンペティションデータセットの最後の3年間について、最先端の結果を提供する。
  論文  参考訳（メタデータ） (2020-04-09T17:26:52Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。