論文の概要: Physics of Language Models: Part 3.1, Knowledge Storage and Extraction
- arxiv url: http://arxiv.org/abs/2309.14316v1
- Date: Mon, 25 Sep 2023 17:37:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 14:30:15.385825
- Title: Physics of Language Models: Part 3.1, Knowledge Storage and Extraction
- Title（参考訳）: 言語モデルの物理:その3.1,知識の蓄積と抽出
- Authors: Zeyuan Allen Zhu and Yuanzhi Li
- Abstract要約: 大規模な言語モデルは広い世界知識を格納することができ、しばしば質問応答によって抽出できる。
モデルがトレーニング中の正確な/類似の質問への露出に基づいて質問に答えるかどうか、あるいは情報源から真に知識を抽出するかどうかは不明だ。
- 参考スコア（独自算出の注目度）: 61.05762942335984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models can store extensive world knowledge, often extractable
through question-answering (e.g., "What is Abraham Lincoln's birthday?").
However, it's unclear whether the model answers questions based on exposure to
exact/similar questions during training, or if it genuinely extracts knowledge
from the source (e.g., Wikipedia biographies).
In this paper, we conduct an in-depth study of this problem using a
controlled set of semi-synthetic biography data. We uncover a relationship
between the model's knowledge extraction ability and different diversity
measures of the training data. We conduct (nearly) linear probing, revealing a
strong correlation between this relationship and whether the model (nearly)
linearly encodes the knowledge attributes at the hidden embedding of the entity
names, or across the embeddings of other tokens in the training text.
- Abstract（参考訳）: 大規模な言語モデルは広い世界知識を保存でき、しばしば質問回答によって抽出できる(例:エイブラハム・リンカーンの誕生日は?
しかし、モデルがトレーニング中に正確/類似の質問に曝露して質問に答えるかどうか、あるいは情報源(例えばウィキペディアの伝記)から真に知識を抽出するかどうかは不明である。
本稿では,半合成伝記データの制御セットを用いて,この問題を詳細に検討する。
モデルの知識抽出能力とトレーニングデータの多様性の異なる指標との関係を明らかにする。
我々は、(ほぼ)線形探索を行い、この関係と、(ほぼ)モデルが、エンティティ名の隠された埋め込みにおいて、またはトレーニングテキストに他のトークンを埋め込んだ際に、その知識属性を線形に符号化するかどうかを強く関連付ける。
関連論文リスト
- Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。
本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-04T20:38:41Z) - Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
スケーリング法則は、言語モデルのサイズと能力の関係を記述している。
我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。
7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
論文 参考訳（メタデータ） (2024-04-08T11:11:31Z) - Source-Aware Training Enables Knowledge Attribution in Language Models [81.13048060332775]
固有のソースの引用は透明性、解釈可能性、検証可能性を高めることができる。
我々のトレーニングレシピは、モデルの難易度に大きな影響を与えることなく、事前学習データへの忠実な帰属を可能にする。
論文 参考訳（メタデータ） (2024-04-01T09:39:38Z) - Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳（メタデータ） (2024-03-26T06:57:23Z) - Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。
鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。
PlugLMは4つのドメインで平均3.95のF1改善を実現している。
論文 参考訳（メタデータ） (2023-05-19T10:01:55Z) - RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。
これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。
我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
論文 参考訳（メタデータ） (2023-05-10T17:54:51Z) - Zero-shot Commonsense Question Answering with Cloze Translation and
Consistency Optimization [20.14487209460865]
自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。
提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-01T07:12:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。