論文の概要: What do Large Language Models Learn beyond Language?

• arxiv url: http://arxiv.org/abs/2210.12302v1
• Date: Fri, 21 Oct 2022 23:43:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 15:51:01.476993
• Title: What do Large Language Models Learn beyond Language?
• Title（参考訳）: 大きな言語モデルは言語以外の何を学ぶのか?
• Authors: Avinash Madasu, Shashank Srivastava
• Abstract要約: 事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。 実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。 その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
• 参考スコア（独自算出の注目度）: 10.9650651784511
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LMs) have rapidly become a mainstay in Natural Language Processing. These models are known to acquire rich linguistic knowledge from training on large amounts of text. In this paper, we investigate if pre-training on text also confers these models with helpful `inductive biases' for non-linguistic reasoning. On a set of 19 diverse non-linguistic tasks involving quantitative computations, recognizing regular expressions and reasoning over strings. We find that pretrained models significantly outperform comparable non-pretrained neural models. This remains true also in experiments with training non-pretrained models with fewer parameters to account for model regularization effects. We further explore the effect of text domain on LMs by pretraining models from text from different domains and provenances. Our experiments surprisingly reveal that the positive effects of pre-training persist even when pretraining on multi-lingual text or computer code, and even for text generated from synthetic languages. Our findings suggest a hitherto unexplored deep connection between pre-training and inductive learning abilities of language models.
• Abstract（参考訳）: 大規模言語モデル(LM)は、自然言語処理において急速に主流となっている。 これらのモデルは、大量のテキストのトレーニングから豊富な言語知識を得ることが知られている。 本稿では,テキストによる事前学習が,非言語的推論に有用な「帰納的バイアス」を持つモデルについても検討する。 定量的計算、正規表現の認識、文字列の推論を含む19の多様な非言語的タスクについて。 事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を示した。 これは、モデル正規化効果を考慮に入れたパラメータの少ない非事前学習モデルのトレーニング実験においても、なお事実である。 我々は,様々な領域のテキストからモデルを事前学習することにより,lmsに対するテキストドメインの影響をさらに探究する。 実験の結果,多言語テキストやコンピュータコード,合成言語から生成されたテキストにおいても,事前学習の効果が持続することが明らかとなった。 以上より,言語モデルの事前学習能力とインダクティブ学習能力との深い関連が示唆された。

関連論文リスト

• Can training neural language models on a curriculum with developmentally plausible data improve alignment with human reading behavior? [0.2745342790938508]
  本稿では,より発達的に妥当なデータを用いたモデル学習により,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。 我々は,BabyLMの「限定小」データセットを用いて教師言語モデルを訓練し,これらの教師モデルからの文レベル推定を用いてカリキュラムの作成を行った。 モデルが学習データから言語知識を習得し易いという仮の証拠が得られた。
  論文  参考訳（メタデータ） (2023-11-30T18:03:58Z)
• Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation [82.5217996570387]
  我々は,自動回帰テキスト・画像生成のための事前学習言語モデルを適用した。 事前訓練された言語モデルは限られた助けを提供する。
  論文  参考訳（メタデータ） (2023-11-27T07:19:26Z)
• Studying the impacts of pre-training using ChatGPT-generated text on downstream tasks [0.0]
  本研究の目的は,言語モデルの事前学習における人工テキストの影響を検討することである。 我々は、CNN/DailyMailのニュース記事を用いて事前学習したRoBERTaと、同じ記事をトレーニングに用いたChatGPTの比較分析を行った。 事前学習における人工テキストの利用は、下流作業におけるモデルの性能や性別の偏りに有意な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-09-02T12:56:15Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• MonoByte: A Pool of Monolingual Byte-level Language Models [4.491765479948667]
  同じ構成で厳格に事前訓練された10のモノリンガルバイトレベルのモデルをリリースする。 トークンを含まないため、目に見えないトークン埋め込みの問題は排除される。 QAタスクとNLIタスクの実験は、我々のモノリンガルモデルがマルチリンガルモデルと競合する性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-09-22T14:32:48Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• On the Multilingual Capabilities of Very Large-Scale English Language Models [0.0]
  GPT(Generative Pre-trained Transformer)は、機械学習の歴史において、前例のない規模に拡張されている。 本研究では,GPT-3の多言語的スキルについて検討し,事前学習用コーパスであるカタルーニャ語にはほとんど現れない1つの言語に着目した。 このモデルでは、特に生成タスクにおいて、主に言語理解タスクでは予測可能な制限があるが、ゼロショットシナリオでは顕著な結果が得られる。
  論文  参考訳（メタデータ） (2021-08-30T16:18:50Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Pre-Training a Language Model Without Human Language [74.11825654535895]
  先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。 非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。 驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
  論文  参考訳（メタデータ） (2020-12-22T13:38:06Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
  ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。 その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。 これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T05:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。