論文の概要: Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws

• arxiv url: http://arxiv.org/abs/2404.05405v1
• Date: Mon, 8 Apr 2024 11:11:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 14:44:37.695929
• Title: Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws
• Title（参考訳）: 言語モデルの物理:その3. 知識キャパシティスケーリング法
• Authors: Zeyuan Allen-Zhu, Yuanzhi Li,
• Abstract要約: スケーリング法則は、言語モデルのサイズと能力の関係を記述している。 我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。 7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
• 参考スコア（独自算出の注目度）: 51.68385617116854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling laws describe the relationship between the size of language models and their capabilities. Unlike prior studies that evaluate a model's capability via loss or benchmarks, we estimate the number of knowledge bits a model stores. We focus on factual knowledge represented as tuples, such as (USA, capital, Washington D.C.) from a Wikipedia page. Through multiple controlled datasets, we establish that language models can and only can store 2 bits of knowledge per parameter, even when quantized to int8, and such knowledge can be flexibly extracted for downstream applications. Consequently, a 7B model can store 14B bits of knowledge, surpassing the English Wikipedia and textbooks combined based on our estimation. More broadly, we present 12 results on how (1) training duration, (2) model architecture, (3) quantization, (4) sparsity constraints such as MoE, and (5) data signal-to-noise ratio affect a model's knowledge storage capacity. Notable insights include: * The GPT-2 architecture, with rotary embedding, matches or even surpasses LLaMA/Mistral architectures in knowledge storage, particularly over shorter training durations. This arises because LLaMA/Mistral uses GatedMLP, which is less stable and harder to train. * Prepending training data with domain names (e.g., wikipedia.org) significantly increases a model's knowledge capacity. Language models can autonomously identify and prioritize domains rich in knowledge, optimizing their storage capacity.
• Abstract（参考訳）: スケーリング法則は、言語モデルのサイズと能力の関係を記述している。 損失やベンチマークによるモデルの能力を評価する以前の研究とは異なり、モデルストアの知識ビットの数を推定する。 我々は、ウィキペディアのページから(米国、首都ワシントンD.C.)タプルとして表される事実知識に焦点を当てる。 複数の制御されたデータセットを通じて、int8に量子化されても言語モデルではパラメータ毎に2ビットの知識を格納することができ、ダウンストリームアプリケーションに対して柔軟にそのような知識を抽出できることを確立した。 その結果、7Bモデルでは14Bビットの知識を格納することができ、我々の推定に基づいて英語のウィキペディアと教科書を上回ります。 さらに,(1)トレーニング期間,(2)モデルアーキテクチャ,(3)量子化,(4)MoEなどの空間的制約,(5)データ信号-雑音比がモデルの知識記憶能力にどのように影響するかを示す。 GPT-2アーキテクチャは、ロータリー埋め込み、マッチ、さらには知識記憶におけるLLaMA/ミストラルアーキテクチャを超越する。 LLaMA/MistralはGatedMLPを使用しており、これは安定性が低く、訓練が難しいためである。 ※ドメイン名(wikipedia.orgなど)によるトレーニングデータの事前適用は、モデルの知識能力を大幅に向上させる。 言語モデルは、知識に富んだドメインを自律的に識別し、優先順位付けし、ストレージ容量を最適化することができる。

関連論文リスト

• Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
  本稿では,4つの基本的な知識操作タスクについて検討する。 言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。 また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
  論文  参考訳（メタデータ） (2023-09-25T17:50:41Z)
• Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
  大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。 モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-25T17:37:20Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models [58.42146641102329]
  我々は、新しい半パラメトリック言語モデルアーキテクチャ、Knowledge-in-Context(KiC)を開発した。 KiCは知識豊富な外部メモリを備えたパラメトリックテキスト-テキスト言語モデルを提供する。 知識豊富なセミパラメトリック言語モデルとして、KiCは、目に見えないタスクにおいて優れたゼロショットパフォーマンスを達成するために、はるかに小さな部分しか必要としない。
  論文  参考訳（メタデータ） (2022-10-28T23:18:43Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Knowledge Efficient Deep Learning for Natural Language Processing [2.2701338128113124]
  この論文は、現代のディープラーニングモデルとアルゴリズムに古典的手法を適用することに焦点を当てている。 まず,事前知識を深層モデルに組み込むための統合学習フレームワークとして,知識豊富な深層学習モデル(KRDL)を提案する。 第2に,KRDLモデルを機械読解モデルに応用し,その決定を裏付ける正しい証拠文を見つける。
  論文  参考訳（メタデータ） (2020-08-28T23:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。