論文の概要: Beyond Positive Scaling: How Negation Impacts Scaling Trends of Language Models

• arxiv url: http://arxiv.org/abs/2305.17311v1
• Date: Sat, 27 May 2023 00:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 20:36:26.332401
• Title: Beyond Positive Scaling: How Negation Impacts Scaling Trends of Language Models
• Title（参考訳）: 肯定的スケーリングを超えて - ネゲーションが言語モデルのスケーリングトレンドに与える影響
• Authors: Yuhui Zhang, Michihiro Yasunaga, Zhengping Zhou, Jeff Z. HaoChen, James Zou, Percy Liang, Serena Yeung
• Abstract要約: 否定を伴う質問からなるデータセットであるNeQAを紹介する。 このタスクは、逆スケーリング、U字型スケーリング、あるいは正のスケーリングを示すことができる。 タスク1は線形スケーリングであり、タスク2は緊急遷移点を持つシグモイド型スケーリングである。
• 参考スコア（独自算出の注目度）: 92.11542797811461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models have been shown to exhibit positive scaling, where performance improves as models are scaled up in terms of size, compute, or data. In this work, we introduce NeQA, a dataset consisting of questions with negation in which language models do not exhibit straightforward positive scaling. We show that this task can exhibit inverse scaling, U-shaped scaling, or positive scaling, and the three scaling trends shift in this order as we use more powerful prompting methods or model families. We hypothesize that solving NeQA depends on two subtasks: question answering (task 1) and negation understanding (task 2). We find that task 1 has linear scaling, while task 2 has sigmoid-shaped scaling with an emergent transition point, and composing these two scaling trends yields the final scaling trend of NeQA. Our work reveals and provides a way to analyze the complex scaling trends of language models.
• Abstract（参考訳）: 言語モデルは、サイズ、計算、データの観点からモデルがスケールアップされるにつれてパフォーマンスが向上する、ポジティブなスケーリングを示すことが示されている。 本研究では,言語モデルが直接的正のスケーリングを示しない否定を伴う質問からなるデータセットであるNeQAを紹介する。 このタスクは逆スケーリング、u字型スケーリング、あるいはプラススケーリングを示すことができ、より強力なプロンプトメソッドやモデルファミリを使用するため、3つのスケーリングトレンドはこの順にシフトする。 我々は、NeQAの解決は、質問応答(タスク1)と否定理解(タスク2)という2つのサブタスクに依存すると仮定する。 タスク1は線形スケーリングであり,タスク2は緊急遷移点を持つシグモノイド形状のスケーリングを持ち,これら2つのスケーリングトレンドを構成することにより,NeQAの最終スケーリング傾向が得られる。 私たちの研究は、言語モデルの複雑なスケーリングトレンドを分析し、分析する方法を提供する。

関連論文リスト

• U-shaped and Inverted-U Scaling behind Emergent Abilities of Large Language Models [1.14179290793997]
  大規模言語モデル(LLM)は、いくつかの下流タスクにおいて創発的な能力を示すことが示されている。 難解な質問に対してU字型のスケーリングを観察し、逆U字のスケーリングに続いて、簡単な質問に対して着実に改善する。 Slice-and-Sandwichと呼ばれる単純なパイプラインを提案し、しきい値を超える出現閾値とモデル性能の両方を予測する。
  論文  参考訳（メタデータ） (2024-10-02T16:03:49Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• The Cost of Down-Scaling Language Models: Fact Recall Deteriorates before In-Context Learning [34.76303922401322]
  重み付けと、より小型または大型のモデルのトレーニングという、2つの自然なスケーリング手法について検討する。 スケーリングによってこの2つの能力がどのように進化するかには、大きな違いがあります。 密度の高いスケーリングとウェイトプルーニングの両方が、この振る舞いを示しているという事実は、スケーリングモデルのサイズが、事実のリコールと文脈内学習に本質的に異なる影響を持っていることを示唆している。
  論文  参考訳（メタデータ） (2023-10-07T03:36:39Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)
• Inverse Scaling: When Bigger Isn't Better [80.42834197416444]
  大規模言語モデル(LM)は、スケールの増大による全体的な損失に対する予測可能な改善を示している。 我々は,LMが逆スケーリングや,スケールの増大に伴うタスクパフォーマンスの悪化を示す可能性があるという主張を裏付ける証拠を示す。
  論文  参考訳（メタデータ） (2023-06-15T20:11:23Z)
• Emergent inabilities? Inverse scaling over the course of pretraining [0.6091702876917281]
  本研究は,訓練期間を通じて,一般的な性能を維持しながら,特定のタスクにおける言語モデルの性能が低下するか否かを考察する。 逆スケーリングチャレンジの2つのタスク – 引用-繰り返しと再定義-マス – に対して,これは事実です。 これは、たとえ全体的なパフォーマンスが改善したとしても、追加データでトレーニングされるたびに、すべての関連するベンチマークでモデルパフォーマンスをテストすることの重要性を強調します。
  論文  参考訳（メタデータ） (2023-05-24T03:42:43Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Inverse scaling can become U-shaped [126.64521446943155]
  言語モデルのスケールアップは、幅広い下流タスクのパフォーマンスを改善するために実証的に示されている。 本稿では,これらの逆スケーリングタスクについて詳しく検討する。 Inverse Scaling Prizeの5倍の計算量でトレーニングされた最大540Bパラメータのモデルを評価する。
  論文  参考訳（メタデータ） (2022-11-03T17:26:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。