論文の概要: Bilinear Fusion of Commonsense Knowledge with Attention-Based NLI Models

• arxiv url: http://arxiv.org/abs/2010.11562v1
• Date: Thu, 22 Oct 2020 09:38:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:13:00.322459
• Title: Bilinear Fusion of Commonsense Knowledge with Attention-Based NLI Models
• Title（参考訳）: 意識に基づくNLIモデルを用いた常識知識の双線形融合
• Authors: Amit Gajbhiye, Thomas Winterbottom, Noura Al Moubayed, and Steven Bradley
• Abstract要約: 既存の外部知識の取り込み方法は語彙レベルの知識に限られる。 NLIモデルに依存しない新しいニューラルフレームワークBiCAMを提案する。 BiCAMは現実世界のコモンセンス知識をNLIモデルに組み込んでいる。
• 参考スコア（独自算出の注目度）: 4.37983780665186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the task of incorporating real-world commonsense knowledge into deep Natural Language Inference (NLI) models. Existing external knowledge incorporation methods are limited to lexical level knowledge and lack generalization across NLI models, datasets, and commonsense knowledge sources. To address these issues, we propose a novel NLI model-independent neural framework, BiCAM. BiCAM incorporates real-world commonsense knowledge into NLI models. Combined with convolutional feature detectors and bilinear feature fusion, BiCAM provides a conceptually simple mechanism that generalizes well. Quantitative evaluations with two state-of-the-art NLI baselines on SNLI and SciTail datasets in conjunction with ConceptNet and Aristo Tuple KGs show that BiCAM considerably improves the accuracy the incorporated NLI baselines. For example, our BiECAM model, an instance of BiCAM, on the challenging SciTail dataset, improves the accuracy of incorporated baselines by 7.0% with ConceptNet, and 8.0% with Aristo Tuple KG.
• Abstract（参考訳）: 我々は,現実世界のコモンセンス知識を深層自然言語推論(NLI)モデルに組み込む作業を検討する。 既存の外部知識の定式化手法は語彙レベルの知識に限られており、NLIモデル、データセット、コモンセンス知識ソースにまたがる一般化が欠如している。 これらの問題に対処するため,我々は新しいnliモデル非依存ニューラルフレームワークbicamを提案する。 BiCAMは現実世界の常識知識をNLIモデルに組み込んでいる。 畳み込み型特徴検出器と双線形特徴融合を組み合わせることで、BiCAMは概念的に単純なメカニズムを提供する。 SNLIデータセットとSciTailデータセットの2つの最先端NLIベースラインとConceptNetとAristo Tuple KGの併用による定量的評価は、BiCAMが組み込まれたNLIベースラインの精度を大幅に向上することを示している。 例えば、挑戦的なSciTailデータセット上のBiCAMのインスタンスである私たちのBiECAMモデルは、ConceptNetで組み込まれたベースラインの精度を7.0%、Aristo Tuple KGで8.0%向上します。

関連論文リスト

• Enhancing Natural Language Inference Performance with Knowledge Graph for COVID-19 Automated Fact-Checking in Indonesian Language [2.0653921521788883]
  本研究は,インドネシア語の自動ファクトチェックにおいて,知識グラフ(KG)を外部知識として活用し,NLIのパフォーマンスを向上させる。 本研究は,KGsを組み込むことで,NLI性能が有意に向上し,0,8616の精度が達成できることを示す。
  論文  参考訳（メタデータ） (2024-08-22T14:27:47Z)
• TURBO: The Swiss Knife of Auto-Encoders [4.913488665159803]
  TURBOは、自動エンコード手法を体系的に解析し、一般化するように設計されている。 本稿は、そのようなモデルをすべて解明する上で、情報ボトルネックの概念が不十分であることを示す。 TURBOの導入は、データ表現とニューラルネットワークモデルの構造のより深い理解に寄与する。
  論文  参考訳（メタデータ） (2023-11-11T10:38:29Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Research on Dual Channel News Headline Classification Based on ERNIE Pre-training Model [13.222137788045416]
  提案モデルは従来のニューラルネットワークモデルと比較して,ニュース見出し分類の精度,精度,F1スコアを改善する。 大規模データ量でのニュース見出しテキストのマルチクラス化アプリケーションでは、うまく機能する。
  論文  参考訳（メタデータ） (2022-02-14T10:44:12Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)
• Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
  雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。 我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2021-06-20T02:15:20Z)
• Compiling ONNX Neural Network Models Using MLIR [51.903932262028235]
  本稿では,深層ニューラルネットワークモデルの推論のためのコードを生成するonnx-mlirコンパイラについて予備報告を行う。 Onnx-mlirは、最近LLVMプロジェクトに統合されたMulti-Level Intermediate Representation (MLIR)インフラストラクチャに依存している。
  論文  参考訳（メタデータ） (2020-08-19T05:28:08Z)
• Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
  本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。 我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-05-24T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。