論文の概要: Facts as Experts: Adaptable and Interpretable Neural Memory over
Symbolic Knowledge
- arxiv url: http://arxiv.org/abs/2007.00849v1
- Date: Thu, 2 Jul 2020 03:05:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 12:48:48.853318
- Title: Facts as Experts: Adaptable and Interpretable Neural Memory over
Symbolic Knowledge
- Title(参考訳): 専門家としての事実:記号的知識よりも適応可能で解釈可能なニューラルメモリ
- Authors: Pat Verga, Haitian Sun, Livio Baldini Soares, William W. Cohen
- Abstract要約: 我々は、象徴的解釈可能な事実情報とサブシンボル的神経知識との明確なインターフェースを含むニューラル言語モデルを開発する。
このモデルは,2つの知識集約型質問応答タスクの性能を劇的に向上させることを示す。
- 参考スコア(独自算出の注目度): 38.48518306055536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Massive language models are the core of modern NLP modeling and have been
shown to encode impressive amounts of commonsense and factual information.
However, that knowledge exists only within the latent parameters of the model,
inaccessible to inspection and interpretation, and even worse, factual
information memorized from the training corpora is likely to become stale as
the world changes. Knowledge stored as parameters will also inevitably exhibit
all of the biases inherent in the source materials. To address these problems,
we develop a neural language model that includes an explicit interface between
symbolically interpretable factual information and subsymbolic neural
knowledge. We show that this model dramatically improves performance on two
knowledge-intensive question-answering tasks. More interestingly, the model can
be updated without re-training by manipulating its symbolic representations. In
particular this model allows us to add new facts and overwrite existing ones in
ways that are not possible for earlier models.
- Abstract(参考訳): 大規模言語モデルは現代のNLPモデリングの中核であり、膨大なコモンセンスと事実情報をエンコードすることが示されている。
しかし、その知識はモデルの潜在パラメータ内にのみ存在し、検査や解釈にはアクセスできない。さらに悪いことに、トレーニングコーパスから記憶された事実情報は、世界が変化するにつれて、陳腐化する可能性が高い。
パラメータとして格納された知識は、必然的にソース素材に固有のすべてのバイアスを示す。
これらの問題に対処するため、記号的解釈可能な事実情報とサブシンボル的神経知識との明確なインターフェースを含むニューラル言語モデルを開発する。
このモデルは2つの知識集約型質問応答タスクの性能を劇的に向上させる。
さらに興味深いことに、モデルはシンボル表現を操作することで再トレーニングすることなく更新することができる。
特にこのモデルは、以前のモデルでは不可能な方法で、新しい事実を追加し、既存の事実を上書きすることができます。
関連論文リスト
- Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。
微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。
本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
論文 参考訳(メタデータ) (2024-10-08T08:35:16Z) - Carpe Diem: On the Evaluation of World Knowledge in Lifelong Language Models [74.81091933317882]
進化するウィキペディアデータベース上でのLMのトレーニングと評価を目的とした,時間的に進化する質問応答ベンチマークであるEvolvingQAを紹介する。
既存の継続的な学習ベースラインが、時代遅れの知識の更新と削除に悩まされていることを明らかにする。
本研究の目的は,実世界の情報の動的性質をモデル化することであり,言語モデルの進化適応性を忠実に評価することである。
論文 参考訳(メタデータ) (2023-11-14T12:12:02Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。
LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。
実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文 参考訳(メタデータ) (2022-08-12T18:59:37Z) - Algebraic Learning: Towards Interpretable Information Modeling [0.0]
この論文は、一般的な情報モデリングにおける解釈可能性の問題に対処し、問題を2つの範囲から緩和する試みである。
まず、問題指向の視点を用いて、興味深い数学的性質が自然に現れるモデリング実践に知識を取り入れる。
第二に、訓練されたモデルを考えると、基礎となるシステムに関するさらなる洞察を抽出するために様々な方法を適用することができる。
論文 参考訳(メタデータ) (2022-03-13T15:53:39Z) - Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason
Over Implicit Knowledge [96.92252296244233]
大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。
本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。
我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
論文 参考訳(メタデータ) (2020-06-11T17:02:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。