論文の概要: Lexical Generalization Improves with Larger Models and Longer Training

• arxiv url: http://arxiv.org/abs/2210.12673v1
• Date: Sun, 23 Oct 2022 09:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 16:26:21.273043
• Title: Lexical Generalization Improves with Larger Models and Longer Training
• Title（参考訳）: 大規模モデルによる語彙一般化と長期学習
• Authors: Elron Bandel, Yoav Goldberg. and Yanai Elazar
• Abstract要約: 本稿では,自然言語推論,パラフレーズ検出,読解理解における語彙重なりの活用について分析する。 より大型のモデルでは、語彙的な重複を採用することへの感受性がはるかに低いことが分かりました。
• 参考スコア（独自算出の注目度）: 42.024050065980845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While fine-tuned language models perform well on many tasks, they were also shown to rely on superficial surface features such as lexical overlap. Excessive utilization of such heuristics can lead to failure on challenging inputs. We analyze the use of lexical overlap heuristics in natural language inference, paraphrase detection, and reading comprehension (using a novel contrastive dataset), and find that larger models are much less susceptible to adopting lexical overlap heuristics. We also find that longer training leads models to abandon lexical overlap heuristics. Finally, we provide evidence that the disparity between models size has its source in the pre-trained model
• Abstract（参考訳）: 微調整された言語モデルは多くのタスクでうまく機能する一方で、語彙重なりなどの表面的特徴にも依存することが示されている。 このようなヒューリスティックスの過剰利用は、挑戦的な入力に失敗する可能性がある。 本研究では,自然言語推論,言い換え検出,読み理解における語彙重なりヒューリスティックの使用を解析し,より大きなモデルでは語彙重なりヒューリスティックを採用することに対する感受性がはるかに低いことを発見した。 また、長いトレーニングにより、モデルは語彙的重複ヒューリスティックを放棄する。 最後に,モデルサイズ間の差異が事前学習したモデルにその源があることを示す。

関連論文リスト

• Frequency Explains the Inverse Correlation of Large Language Models' Size, Training Data Amount, and Surprisal's Fit to Reading Times [15.738530737312335]
  近年の研究では、トランスフォーマーに基づく言語モデルが大きくなり、非常に大量のデータで訓練されているため、その推定結果が自然主義的な人間の読解時間に適合していることが示されている。 本稿では,これら2つの傾向の根底にある説明要因として,単語頻度が重要であることを示す一連の分析結果を示す。 その結果,トランスフォーマーをベースとした言語モデルによる推定は,稀な単語を予測するために学習する超人的に複雑な関連性から,人間の期待から逸脱していることがわかった。
  論文  参考訳（メタデータ） (2024-02-03T20:22:54Z)
• Longer Fixations, More Computation: Gaze-Guided Recurrent Neural Networks [12.57650361978445]
  人間はさまざまなペースでテキストを読み、機械学習モデルはそれぞれのトークンを同じように扱う。 本稿では,この直感を固定誘導並列RNNやレイヤを用いた新しいモデルに変換する。 興味深いことに、ニューラルネットワークによって予測される固定期間は、人間の固定と多少似ている。
  論文  参考訳（メタデータ） (2023-10-31T21:32:11Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Rarely a problem? Language models exhibit inverse scaling in their predictions following few-type quantifiers [0.6091702876917281]
  言語モデルにおいて特に課題となる「おもちゃのような2人の子供」のような「2つの」型の量化器に焦点をあてる。 人間の2つの神経言語実験から、異なる大きさの22個の自己回帰トランスフォーマーモデルまで、960の英語文刺激を提示する。
  論文  参考訳（メタデータ） (2022-12-16T20:01:22Z)
• Emergent Abilities of Large Language Models [172.08007363384218]
  より小さなモデルには存在しないが、より大きなモデルには存在しない場合、創発する能力を考える。 このような出現の存在は、さらなるスケーリングが言語モデルの機能範囲をさらに拡大することを意味している。
  論文  参考訳（メタデータ） (2022-06-15T17:32:01Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。