論文の概要: LNN-EL: A Neuro-Symbolic Approach to Short-text Entity Linking

• arxiv url: http://arxiv.org/abs/2106.09795v1
• Date: Thu, 17 Jun 2021 20:22:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:21:16.992836
• Title: LNN-EL: A Neuro-Symbolic Approach to Short-text Entity Linking
• Title（参考訳）: LNN-EL:短文エンティティリンクに対するニューロシンボリックアプローチ
• Authors: Hang Jiang, Sairam Gurajada, Qiuhao Lu, Sumit Neelam, Lucian Popa, Prithviraj Sen, Yunyao Li, Alexander Gray
• Abstract要約: 本稿では,解釈可能なルールとニューラルネットワークの性能を併用したニューラルシンボリックアプローチであるLNN-ELを提案する。 ルールの使用に制約があるにもかかわらず、LNN-ELはSotAのブラックボックスニューラルアプローチと競合する。
• 参考スコア（独自算出の注目度）: 62.634516517844496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entity linking (EL), the task of disambiguating mentions in text by linking them to entities in a knowledge graph, is crucial for text understanding, question answering or conversational systems. Entity linking on short text (e.g., single sentence or question) poses particular challenges due to limited context. While prior approaches use either heuristics or black-box neural methods, here we propose LNN-EL, a neuro-symbolic approach that combines the advantages of using interpretable rules based on first-order logic with the performance of neural learning. Even though constrained to using rules, LNN-EL performs competitively against SotA black-box neural approaches, with the added benefits of extensibility and transferability. In particular, we show that we can easily blend existing rule templates given by a human expert, with multiple types of features (priors, BERT encodings, box embeddings, etc), and even scores resulting from previous EL methods, thus improving on such methods. For instance, on the LC-QuAD-1.0 dataset, we show more than $4$\% increase in F1 score over previous SotA. Finally, we show that the inductive bias offered by using logic results in learned rules that transfer well across datasets, even without fine tuning, while maintaining high accuracy.
• Abstract（参考訳）: テキスト中の言及を知識グラフ内のエンティティにリンクすることで曖昧さを解消するタスクであるエンティティリンク(el)は、テキスト理解、質問応答、会話システムにおいて不可欠である。 短いテキスト(例:単一文や質問)上のエンティティリンクは、限られたコンテキストのために特定の課題を引き起こす。 従来のアプローチではヒューリスティックやブラックボックスのニューラルメソッドが用いられていたが,一階述語論理に基づく解釈可能なルールとニューラルネットワークの性能を組み合わせたニューラルシンボリックアプローチであるLNN-ELを提案する。 ルールの使用に制約があるにもかかわらず、LNN-ELはSotAのブラックボックスニューラルアプローチに対して競争力があり、拡張性と転送可能性の利点が加えられている。 特に,人間の専門家が与える既存のルールテンプレートと,複数の種類の機能(プライヤ,BERTエンコーディング,ボックス埋め込みなど)と,従来のELメソッドから得られるスコアとを簡単に組み合わせることで,そのような方法を改善することができることを示す。 例えば、LC-QuAD-1.0データセットでは、以前のSotAよりもF1スコアが4ドル以上上昇している。 最後に,論理を用いた帰納的バイアスは,高い精度を維持しながら,微調整なしでもデータセット間でうまく転送される学習規則をもたらすことを示す。

関連論文リスト

• Enhanced Expressivity in Graph Neural Networks with Lanczos-Based Linear Constraints [7.605749412696919]
  グラフニューラルネットワーク(GNN)はグラフ構造化データの処理に優れるが、リンク予測タスクでは性能が劣ることが多い。 グラフラプラシア行列の固有基底に誘導された部分グラフを埋め込むことによりGNNの表現性を高める新しい手法を提案する。 提案手法は,PubMedとOGBL-Vesselのデータセットから,5%と10%のデータしか必要とせず,20倍と10倍の高速化を実現する。
  論文  参考訳（メタデータ） (2024-08-22T12:22:00Z)
• Neural Symbolic Logical Rule Learner for Interpretable Learning [1.9526476410335776]
  ルールベースのニューラルネットワークは、予測と解釈の両方の論理ルールを学ぶことによって、解釈可能な分類を可能にする。 我々は、選択離散ニューラルネットワークを利用した正規形規則学習アルゴリズム(NFRL)を導入し、共役正規形(CNF)と共役正規形(DNF)の両方の規則を学習する。 11のデータセットに関する広範な実験を通じて、NFRLは12の最先端の代替品と比較して、優れた分類性能、学習ルールの品質、効率と解釈性を示す。
  論文  参考訳（メタデータ） (2024-08-21T18:09:12Z)
• ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation [38.64175351885443]
  大規模言語モデルは自然言語処理(NLP)領域で栄えている。 レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。 既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
  論文  参考訳（メタデータ） (2024-06-27T01:37:57Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• InsertGNN: Can Graph Neural Networks Outperform Humans in TOEFL Sentence Insertion Problem? [66.70154236519186]
  センテンス挿入は繊細だが基本的なNLP問題である。 文順序付け、テキストコヒーレンス、質問応答(QA)の現在のアプローチは、その解決には適さない。 本稿では,この問題をグラフとして表現し,グラフニューラルネットワーク(GNN)を用いて文間の関係を学習するモデルであるInsertGNNを提案する。
  論文  参考訳（メタデータ） (2021-03-28T06:50:31Z)
• Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits [0.11421942894219898]
  ニューラルネットワークモデル1をアグリゲータ層として,コンテキストフリーあるいはコンテキスト化されたクエリ/ドキュメント埋め込みに適用する。 BERTをベースとしたコンテキスト型埋め込み上に,解釈可能なニューラルモデル1層を追加すると,精度や効率が低下しないことを示す。 私たちは、2020年末にMS MARCOドキュメントランキングリーダーボードで最高のニューラルおよび非ニューラルランを生産しました。
  論文  参考訳（メタデータ） (2021-02-12T23:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。