論文の概要: Language models are better than humans at next-token prediction

• arxiv url: http://arxiv.org/abs/2212.11281v1
• Date: Wed, 21 Dec 2022 17:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 13:42:08.028923
• Title: Language models are better than humans at next-token prediction
• Title（参考訳）: 言語モデルは次の予測で人間より優れている
• Authors: Buck Shlegeris, Fabien Roger, Lawrence Chan, Euan McLean
• Abstract要約: 次のトークン予測では、言語モデルが人間より優れているか悪いかは明らかではない。 我々は、次の予測で、GPT3-Adaのような比較的小さな言語モデルよりも、人間は一貫して非言語的であることに気付きました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current language models are considered to have sub-human capabilities at natural language tasks like question-answering or writing code. However, language models are not trained to perform well at these tasks, they are trained to accurately predict the next token given previous tokes in tokenized text. It is not clear whether language models are better or worse than humans at next token prediction. To try to answer this question, we performed two distinct experiments to directly compare humans and language models on this front: one measuring top-1 accuracy and the other measuring perplexity. In both experiments, we find humans to be consistently \emph{worse} than even relatively small language models like GPT3-Ada at next-token prediction.
• Abstract（参考訳）: 現在の言語モデルは、質問応答やコードを書くといった自然言語タスクにおいて、サブヒューマン機能を持つと考えられている。 しかし、言語モデルはこれらのタスクでうまく機能するように訓練されておらず、トークン化されたテキストで以前のトークが与えられた次のトークンを正確に予測するように訓練されている。 次のトークン予測では、言語モデルが人間より優れているか悪いかは明らかではない。 この質問に答えるために、私たちは人間と言語モデルを直接比較するために、2つの異なる実験を行いました。 どちらの実験でも、次の予測では、人間はGPT3-Adaのような比較的小さな言語モデルよりも一貫して「emph{worse}」であることが分かる。

関連論文リスト

• Better & Faster Large Language Models via Multi-token Prediction [29.067271500844928]
  GPTやLlamaのような大規模言語モデルは、次のトーケン予測損失で訓練される。 複数の未来のトークンを同時に予測するための言語モデルをトレーニングすることで、より高いサンプル効率が得られることを提案する。
  論文  参考訳（メタデータ） (2024-04-30T17:33:57Z)
• Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation [82.5217996570387]
  我々は,自動回帰テキスト・画像生成のための事前学習言語モデルを適用した。 事前訓練された言語モデルは限られた助けを提供する。
  論文  参考訳（メタデータ） (2023-11-27T07:19:26Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Collateral facilitation in humans and language models [0.6091702876917281]
  人間は、非常に異常な単語に対して、同様の処理の利点を示す。 本稿では、人間の言語理解と言語モデルによる予測の両方を理解することの意味について論じる。
  論文  参考訳（メタデータ） (2022-11-09T21:08:08Z)
• What do Large Language Models Learn beyond Language? [10.9650651784511]
  事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。 実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。 その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
  論文  参考訳（メタデータ） (2022-10-21T23:43:13Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment [49.45399359826453]
  言語間の言語モデルは通常、多言語テキストやパラレル文の言語モデリングで事前訓練される。 本稿では,新たな言語間事前学習課題として認知単語アライメントを導入する。 実験結果から,本手法は各種データセットの言語間移動性を向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T13:36:01Z)
• Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
  現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。 前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。 本稿では,ラベルのないデータを利用して性能を向上する。
  論文  参考訳（メタデータ） (2021-05-08T08:04:30Z)
• Multilingual Language Models Predict Human Reading Behavior [8.830621849672108]
  言語固有および多言語事前学習トランスフォーマーモデルの性能比較を行い,読解時間尺度の予測を行った。 BERT と XLM のモデルでは,様々な視線追跡特性の予測に成功している。 一連の実験で、これらのモデルのクロスドメインおよびクロス言語能力を分析し、人間の文処理をどのように反映するかを示す。
  論文  参考訳（メタデータ） (2021-04-12T13:03:49Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。