論文の概要: Knowledge Neurons in Pretrained Transformers
- arxiv url: http://arxiv.org/abs/2104.08696v1
- Date: Sun, 18 Apr 2021 03:38:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:10:20.818407
- Title: Knowledge Neurons in Pretrained Transformers
- Title（参考訳）: プリトレーニングトランスフォーマーにおけるナレッジニューロン
- Authors: Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Furu Wei
- Abstract要約: 本稿では,事前に訓練されたトランスフォーマーに暗黙の知識を格納する方法を検討する。
本稿では,その事実を表すニューロンを同定する知識属性法を提案する。
これらの知識ニューロンの活性化は,それらの事実の発現と高い相関性を示す。
- 参考スコア（独自算出の注目度）: 45.24499368763417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale pretrained language models are surprisingly good at recalling
factual knowledge presented in the training corpus. In this paper, we explore
how implicit knowledge is stored in pretrained Transformers by introducing the
concept of knowledge neurons. Given a relational fact, we propose a knowledge
attribution method to identify the neurons that express the fact. We present
that the activation of such knowledge neurons is highly correlated to the
expression of their corresponding facts. In addition, even without fine-tuning,
we can leverage knowledge neurons to explicitly edit (such as update, and
erase) specific factual knowledge for pretrained Transformers.
- Abstract（参考訳）: 大規模事前学習言語モデルは、トレーニングコーパスで提示された事実的知識を思い出すのに驚くほど優れている。
本稿では,知識ニューロンの概念を導入して,暗黙の知識を事前学習したトランスフォーマーに格納する方法を検討する。
関係性のある事実を仮定し、その事実を表現するニューロンを識別するための知識帰属法を提案する。
これらの知識ニューロンの活性化は,それらの事実の発現と高い相関関係にあると考えられる。
さらに、微調整がなくても、知識ニューロンを利用して、事前訓練されたトランスフォーマーに対して、特定の事実知識を明示的に編集(更新、消去)することができる。
関連論文リスト
- Knowledge Circuits in Pretrained Transformers [47.342682123081204]
現代の大言語モデルが知識をいかに保存するかという内部的な研究は、長い間、研究者の間で激しい関心と調査の対象となっていた。
本稿では,言語モデルのグラフを掘り下げて,特定の知識を明確にするための知識回路を明らかにする。
これらの知識回路に対する現在の知識編集技術の影響を評価し,これらの編集手法の機能や制約についてより深い知見を提供する。
論文 参考訳（メタデータ） (2024-05-28T08:56:33Z) - Journey to the Center of the Knowledge Neurons: Discoveries of
Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons [20.56154830853632]
本稿では,多言語言語モデルにおいて,事実知識がどのように格納されているかを理解するための複雑な課題について考察する。
本稿では,知識ニューロンをより正確にローカライズするアーキテクチャ適応型多言語統合勾配法を提案する。
また、知識ニューロンの詳細な探索も行っており、以下の2つの重要な発見につながっている。
論文 参考訳（メタデータ） (2023-08-25T06:26:05Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Finding Skill Neurons in Pre-trained Transformer-based Language Models [46.484656229427834]
トランスフォーマーに基づく事前学習型言語モデルは、様々な自然言語処理タスクにおいて優れた性能を示した。
特定のタスクを即時チューニングした後、事前訓練されたトランスフォーマー内のいくつかのニューロンの活性化はタスクラベルを高い精度で予測できることが判明した。
また、ネットワークプルーニングによるトランスフォーマーの高速化や、より優れたトランスフォーマビリティインジケータの構築など、スキルニューロンの応用についても検討する。
論文 参考訳（メタデータ） (2022-11-14T13:43:46Z) - Neural Knowledge Bank for Pretrained Transformers [20.416700112895974]
本稿では,事前学習したトランスフォーマーに対して,現実的な知識を蓄積する神経知識銀行を提案する。
知識注入中、元のモデルを修正し、拡張メモリスロットに事実知識を注入する。
3つのクローズドブックの質問応答データセットを使用して、余分な事実知識を格納する強力な能力を示しています。
論文 参考訳（メタデータ） (2022-07-31T09:14:34Z) - Finding patterns in Knowledge Attribution for Transformers [1.52292571922932]
実験には12層多言語BERTモデルを用いる。
事実的知識の大部分は,ネットワークの中間層と上位層に起因している,と我々は考えている。
文法的知識に対する帰属スキームを適用すると、文法的知識は事実的知識よりもニューロン間ではるかに分散していることが分かる。
論文 参考訳（メタデータ） (2022-05-03T08:30:51Z) - Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。
FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
論文 参考訳（メタデータ） (2022-01-15T03:00:27Z) - Towards a Universal Continuous Knowledge Base [49.95342223987143]
複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。
テキスト分類実験は有望な結果を示す。
我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
論文 参考訳（メタデータ） (2020-12-25T12:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。