論文の概要: On the Effect of Pretraining Corpora on In-context Learning by a Large-scale Language Model

• arxiv url: http://arxiv.org/abs/2204.13509v1
• Date: Thu, 28 Apr 2022 13:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 19:07:17.627995
• Title: On the Effect of Pretraining Corpora on In-context Learning by a Large-scale Language Model
• Title（参考訳）: 大規模言語モデルによる文脈内学習におけるコーパス事前学習の効果について
• Authors: Seongjin Shin, Sang-Woo Lee, Hwijeen Ahn, Sungdong Kim, HyoungSeok Kim, Boseop Kim, Kyunghyun Cho, Gichang Lee, Woomyoung Park, Jung-Woo Ha, Nako Sung
• Abstract要約: 韓国中心のGPT-3モデルにおいて,事前学習コーパスのソースとサイズが文脈内学習に与える影響について検討した。 テキスト内学習の性能はコーパス・ドメイン・ソースに大きく依存しており、事前学習コーパスのサイズがコンテキスト内学習の出現を決定するとは限らない。
• 参考スコア（独自算出の注目度）: 56.82120834538467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent studies on large-scale language models have reported successful in-context zero- and few-shot learning ability. However, the in-depth analysis of when in-context learning occurs is still lacking. For example, it is unknown how in-context learning performance changes as the training corpus varies. Here, we investigate the effects of the source and size of the pretraining corpus on in-context learning in HyperCLOVA, a Korean-centric GPT-3 model. From our in-depth investigation, we introduce the following observations: (1) in-context learning performance heavily depends on the corpus domain source, and the size of the pretraining corpus does not necessarily determine the emergence of in-context learning, (2) in-context learning ability can emerge when a language model is trained on a combination of multiple corpora, even when each corpus does not result in in-context learning on its own, (3) pretraining with a corpus related to a downstream task does not always guarantee the competitive in-context learning performance of the downstream task, especially in the few-shot setting, and (4) the relationship between language modeling (measured in perplexity) and in-context learning does not always correlate: e.g., low perplexity does not always imply high in-context few-shot learning performance.
• Abstract（参考訳）: 大規模言語モデルに関する最近の多くの研究は、文脈内ゼロおよび少数ショット学習能力の成功を報告している。 しかしながら、コンテキスト内学習の発生時期に関する詳細な分析はまだ不足している。 例えば、トレーニングコーパスが変化するにつれて、文脈内学習のパフォーマンスがどう変化するかは不明である。 本稿では,韓国中心のGPT-3モデルであるHyperCLOVAにおいて,事前学習コーパスのソースとサイズが文脈学習に与える影響について検討する。 From our in-depth investigation, we introduce the following observations: (1) in-context learning performance heavily depends on the corpus domain source, and the size of the pretraining corpus does not necessarily determine the emergence of in-context learning, (2) in-context learning ability can emerge when a language model is trained on a combination of multiple corpora, even when each corpus does not result in in-context learning on its own, (3) pretraining with a corpus related to a downstream task does not always guarantee the competitive in-context learning performance of the downstream task, especially in the few-shot setting, and (4) the relationship between language modeling (measured in perplexity) and in-context learning does not always correlate: e.g., low perplexity does not always imply high in-context few-shot learning performance.

関連論文リスト

• Transformer verbatim in-context retrieval across time and scale [2.7941582470640784]
  場合によっては、言語モデルはコンテキスト内情報を冗長に検索しなければならない。 本研究は, 学習過程の早い段階から, 言語内単語検索が急激な移行の中で発達したことを示す。 この結果から, 文脈内単語検索の発達はゼロショットベンチマークの学習と正の相関関係があることが判明した。
  論文  参考訳（メタデータ） (2024-11-11T15:50:01Z)
• Conditional Language Learning with Context [19.708303468664088]
  本研究では、条件ファインタニングと呼ばれる因果言語モデリングの簡易な修正を提案する。 我々は、あるコンテキストが特定のコーパス統計を「説明」し、モデルがそれらを学ぶのを避けることができることを示す。
  論文  参考訳（メタデータ） (2024-06-04T05:22:24Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• The Learnability of In-Context Learning [16.182561312622315]
  そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。 本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。 文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
  論文  参考訳（メタデータ） (2023-03-14T13:28:39Z)
• What Can Transformers Learn In-Context? A Case Study of Simple Function Classes [67.06980111346245]
  インコンテキスト学習(In-context learning)とは、インコンテキストの例からなるプロンプトシーケンスでモデルに条件を付ける能力である。 我々は,標準変換器をスクラッチから訓練して,線形関数の文脈内学習を行うことを示した。 また、タスク固有の学習アルゴリズムに適合または超越したパフォーマンスで、より複雑な関数クラスをコンテキスト内で学習できるようにトランスフォーマーを訓練できることも示している。
  論文  参考訳（メタデータ） (2022-08-01T18:01:40Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。