論文の概要: Towards a Universal Continuous Knowledge Base

• arxiv url: http://arxiv.org/abs/2012.13568v2
• Date: Sat, 17 Apr 2021 14:10:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 06:09:43.361813
• Title: Towards a Universal Continuous Knowledge Base
• Title（参考訳）: ユニバーサルな継続的知識基盤を目指して
• Authors: Gang Chen, Maosong Sun, and Yang Liu
• Abstract要約: 複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
• 参考スコア（独自算出の注目度）: 49.95342223987143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In artificial intelligence (AI), knowledge is the information required by an intelligent system to accomplish tasks. While traditional knowledge bases use discrete, symbolic representations, detecting knowledge encoded in the continuous representations learned from data has received increasing attention recently. In this work, we propose a method for building a continuous knowledge base (CKB) that can store knowledge imported from multiple, diverse neural networks. The key idea of our approach is to define an interface for each neural network and cast knowledge transferring as a function simulation problem. Experiments on text classification show promising results: the CKB imports knowledge from a single model and then exports the knowledge to a new model, achieving comparable performance with the original model. More interesting, we import the knowledge from multiple models to the knowledge base, from which the fused knowledge is exported back to a single model, achieving a higher accuracy than the original model. With the CKB, it is also easy to achieve knowledge distillation and transfer learning. Our work opens the door to building a universal continuous knowledge base to collect, store, and organize all continuous knowledge encoded in various neural networks trained for different AI tasks.
• Abstract（参考訳）: 人工知能(ai)では、知識は知的システムがタスクを達成するのに必要な情報である。 従来の知識ベースでは離散的な記号表現を用いるが、データから学習した連続表現に符号化された知識の検出は近年注目を集めている。 本研究では,複数のニューラルネットワークからインポートされた知識を格納できる連続知識ベース(ckb)を構築する手法を提案する。 提案手法の主な考え方は,各ニューラルネットワークのインタフェースを定義し,機能シミュレーション問題として知識伝達をキャストすることである。 CKBは単一のモデルから知識をインポートし、その知識を新しいモデルにエクスポートし、元のモデルと同等のパフォーマンスを達成する。 さらに興味深いことに、複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートし、元のモデルよりも高い精度を達成する。 CKBでは、知識の蒸留や伝達学習も容易に行うことができる。 私たちの研究は、さまざまなaiタスクのためにトレーニングされたさまざまなニューラルネットワークにエンコードされたすべての継続的知識を収集、保存、整理するための、普遍的な継続的知識ベースを構築するための扉を開きます。

関連論文リスト

• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)
• Distilling Holistic Knowledge with Graph Neural Networks [37.86539695906857]
  知識蒸留(KD)は、より大規模な教師ネットワークからより小さな学習可能な学生ネットワークへ知識を伝達することを目的としている。 既存のKD法は主に、個々の知識と関係知識の2つの種類の知識を考察してきた。 本稿では, インスタンス間に構築された属性グラフに基づいて, 新たな包括的知識を蒸留する。
  論文  参考訳（メタデータ） (2021-08-12T02:47:59Z)
• K-XLNet: A General Method for Combining Explicit Knowledge with Language Model Pretraining [5.178964604577459]
  明示的な知識を活用することで、モデルの事前訓練を改善することに重点を置いています。 具体的には、まず知識グラフ(KG)から知識事実をマッチングし、次に直接変換器に知識命令層を追加する。 実験の結果,変圧器に外部知識を加えるだけで,多くのNLPタスクにおける学習性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-03-25T06:14:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。