論文の概要: Smoothing Entailment Graphs with Language Models

• arxiv url: http://arxiv.org/abs/2208.00318v2
• Date: Thu, 21 Sep 2023 19:27:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 19:46:14.636219
• Title: Smoothing Entailment Graphs with Language Models
• Title（参考訳）: 言語モデルを用いたSmoothing Entailment Graphs
• Authors: Nick McKenna, Tianyi Li, Mark Johnson, Mark Steedman
• Abstract要約: オープンリレーショナル抽出(ORE)により構築されたエンテーメントグラフの最適平滑化理論を提案する。 そこで本研究では,市販の言語モデルを用いて,効率的な,オープンドメインと教師なしの平滑化手法を実証し,前提条件の不足を近似する手法を提案する。 QA タスクでは EG の平滑化が,より少ないサポートテキストで質問に答えるのに最も有用であることを示す。
• 参考スコア（独自算出の注目度）: 15.499215600170238
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The diversity and Zipfian frequency distribution of natural language predicates in corpora leads to sparsity in Entailment Graphs (EGs) built by Open Relation Extraction (ORE). EGs are computationally efficient and explainable models of natural language inference, but as symbolic models, they fail if a novel premise or hypothesis vertex is missing at test-time. We present theory and methodology for overcoming such sparsity in symbolic models. First, we introduce a theory of optimal smoothing of EGs by constructing transitive chains. We then demonstrate an efficient, open-domain, and unsupervised smoothing method using an off-the-shelf Language Model to find approximations of missing premise predicates. This improves recall by 25.1 and 16.3 percentage points on two difficult directional entailment datasets, while raising average precision and maintaining model explainability. Further, in a QA task we show that EG smoothing is most useful for answering questions with lesser supporting text, where missing premise predicates are more costly. Finally, controlled experiments with WordNet confirm our theory and show that hypothesis smoothing is difficult, but possible in principle.
• Abstract（参考訳）: コーパスの自然言語述語における多様性とジップフィアン周波数分布は、オープン関係抽出(ore)によって構築された帰納グラフ(egs)のスパーシティをもたらす。 EGは計算的に効率的で説明可能な自然言語推論モデルであるが、記号モデルとして、新しい前提や仮説頂点がテスト時に失われると失敗する。 シンボリックモデルにおけるそのような疎結合を克服するための理論と方法論を提案する。 まず、遷移鎖を構成することにより、EGの最適平滑化の理論を導入する。 次に,既成の言語モデルを用いた効率良く,オープンで教師なしの平滑化手法を実演し,不足する前提述語を近似する手法を提案する。 これにより、2つの難しい方向包含データセットで25.1ポイントと16.3ポイントのリコールが改善され、平均精度とモデル説明性が向上した。 さらに、QAタスクでは、EGスムーシングが、より少ないサポートテキストで質問に答えるのに最も有用であることを示す。 最後に、wordnetを用いた制御実験により、仮説の平滑化は困難であるが原則として可能であることを示す。

関連論文リスト

• Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
  I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。 帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。 本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。 第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
  論文  参考訳（メタデータ） (2024-08-03T13:37:40Z)
• EntailE: Introducing Textual Entailment in Commonsense Knowledge Graph Completion [54.12709176438264]
  Commonsense knowledge graph(CSKG)は、名前付きエンティティ、短いフレーズ、イベントをノードとして表現するために自由形式のテキストを使用する。 現在の手法では意味的類似性を利用してグラフ密度を増大させるが、ノードとその関係のセマンティックな妥当性は未探索である。 そこで本研究では,CSKGノード間の暗黙的な包絡関係を見つけるために,テキストエンテーメントを導入し,同じ概念クラス内のサブグラフ接続ノードを効果的に密度化することを提案する。
  論文  参考訳（メタデータ） (2024-02-15T02:27:23Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• From the One, Judge of the Whole: Typed Entailment Graph Construction with Predicate Generation [69.91691115264132]
  Entailment Graphs (EG) は、自然言語における文脈に依存しないentailment関係を示すために構築される。 本稿では,この問題に対処する多段階型述語グラフ生成器(TP-EGG)を提案する。 ベンチマークデータセットの実験では、TP-EGGは高品質でスケール制御可能なエンターメントグラフを生成することができる。
  論文  参考訳（メタデータ） (2023-06-07T05:46:19Z)
• Unveiling the Sampling Density in Non-Uniform Geometric Graphs [69.93864101024639]
  グラフを幾何学グラフとみなす: ノードは基礎となる計量空間からランダムにサンプリングされ、その距離が指定された近傍半径以下であれば任意のノードが接続される。 ソーシャルネットワークでは、コミュニティは密集したサンプル領域としてモデル化でき、ハブはより大きな近傍半径を持つノードとしてモデル化できる。 我々は,未知のサンプリング密度を自己監督的に推定する手法を開発した。
  論文  参考訳（メタデータ） (2022-10-15T08:01:08Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• Learning Graphs from Smooth Signals under Moment Uncertainty [23.868075779606425]
  与えられたグラフ信号の集合からグラフ構造を推測する問題を検討する。 従来のグラフ学習モデルは、この分布の不確実性を考慮していない。
  論文  参考訳（メタデータ） (2021-05-12T06:47:34Z)
• Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
  確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。 我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。 実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T20:34:32Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。