論文の概要: Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models

• arxiv url: http://arxiv.org/abs/2205.01841v1
• Date: Wed, 4 May 2022 01:27:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 13:37:22.887483
• Title: Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models
• Title（参考訳）: 偉大な真実は常に単純である: 事前学習されたモデルの常識推論能力を高めるための、かなり単純な知識エンコーダ
• Authors: Jinhao Jiang, Kun Zhou, Wayne Xin Zhao and Ji-Rong Wen
• Abstract要約: 自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
• 参考スコア（独自算出の注目度）: 89.98762327725112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonsense reasoning in natural language is a desired ability of artificial intelligent systems. For solving complex commonsense reasoning tasks, a typical solution is to enhance pre-trained language models~(PTMs) with a knowledge-aware graph neural network~(GNN) encoder that models a commonsense knowledge graph~(CSKG). Despite the effectiveness, these approaches are built on heavy architectures, and can't clearly explain how external knowledge resources improve the reasoning capacity of PTMs. Considering this issue, we conduct a deep empirical analysis, and find that it is indeed relation features from CSKGs (but not node features) that mainly contribute to the performance improvement of PTMs. Based on this finding, we design a simple MLP-based knowledge encoder that utilizes statistical relation paths as features. Extensive experiments conducted on five benchmarks demonstrate the effectiveness of our approach, which also largely reduces the parameters for encoding CSKGs. Our codes and data are publicly available at https://github.com/RUCAIBox/SAFE.
• Abstract（参考訳）: 自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するために、典型的な解決策は、知識を意識したグラフニューラルネットワーク~(GNN)エンコーダで事前訓練された言語モデル~(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。 この問題を考慮し、我々は深い経験分析を行い、主にPTMの性能改善に寄与するCSKGs(ノード特徴ではない)と関係性があることを発見した。 この発見に基づいて,統計的関係経路を特徴として用いたシンプルなMLPベースの知識エンコーダを設計する。 5つのベンチマークで広範な実験を行った結果,本手法の有効性が示され,cskgの符号化パラメータも大幅に削減された。 私たちのコードとデータはhttps://github.com/rucaibox/safeで公開されています。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Deep Symbolic Optimization for Combinatorial Optimization: Accelerating Node Selection by Discovering Potential Heuristics [10.22111332588471]
  本稿では,その利点を生かした,新しい記号的最適化学習フレームワークを提案する。 Dso4NSは高次元離散記号空間内の数学的表現の探索をガイドし、最高性能の数学的表現を解法に組み込む。 実験では、Dso4NSが高品質な表現の学習に有効であることを示し、CPUマシンにおける既存のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-06-14T06:02:14Z)
• TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
  本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。 我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。 我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-17T13:04:35Z)
• LightCode: Light Analytical and Neural Codes for Channels with Feedback [10.619569069690185]
  我々は,通信システムに適した低複雑さの符号化方式を設計することに注力する。 まず、Schalkwijk-Kailath (SK) と Gallager-Nakibouglu (GN) にインスパイアされた解析的符号化スキームであるPowerBlast が、SK と GN のスキームに対して顕著な信頼性向上を実現していることを示す。 次に、低SNR領域の信頼性を高めるために、既存のディープラーニングベースのコードと比較して、わずかなメモリと計算を使いながら、最先端の信頼性を実現する軽量ニューラルネットワークであるLightCodeを提案する。
  論文  参考訳（メタデータ） (2024-03-16T01:04:34Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph Completion [69.55700751102376]
  FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。 既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。 本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
  論文  参考訳（メタデータ） (2023-04-17T11:42:28Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• EvoLearner: Learning Description Logics with Evolutionary Algorithms [2.0096667731426976]
  知識グラフにおけるノードの分類は重要なタスクであり、例えば、欠落したタイプのエンティティを予測したり、どの分子ががんの原因となるかを予測したり、どの薬物が有望な治療候補であるかを予測する。 EvoLearner - 肯定的および否定的な例から記述論理の概念を学習するための進化的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-08T23:47:39Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。