論文の概要: Smoothing Entailment Graphs with Language Models

• arxiv url: http://arxiv.org/abs/2208.00318v1
• Date: Sat, 30 Jul 2022 22:15:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:28:45.717049
• Title: Smoothing Entailment Graphs with Language Models
• Title（参考訳）: 言語モデルを用いたSmoothing Entailment Graphs
• Authors: Nick McKenna, Mark Steedman
• Abstract要約: 本稿では,言語モデルを用いたグラフ平滑化手法を提案する。 我々は、2つの困難な方向付けデータセットにおいて、25.1と16.3の絶対パーセンテージでリコールを改善する。
• 参考スコア（独自算出の注目度）: 13.421326802750961
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The diversity and Zipfian frequency distribution of natural language predicates in corpora leads to sparsity when learning Entailment Graphs. As symbolic models for natural language inference, an EG cannot recover if missing a novel premise or hypothesis at test-time. In this paper we approach the problem of vertex sparsity by introducing a new method of graph smoothing, using a Language Model to find the nearest approximations of missing predicates. We improve recall by 25.1 and 16.3 absolute percentage points on two difficult directional entailment datasets while exceeding average precision, and show a complementarity with other improvements to edge sparsity. We further analyze language model embeddings and discuss why they are naturally suitable for premise-smoothing, but not hypothesis-smoothing. Finally, we formalize a theory for smoothing a symbolic inference method by constructing transitive chains to smooth both the premise and hypothesis.
• Abstract（参考訳）: コーパスにおける自然言語述語の多様性とZipfian頻度分布は、エンテリメントグラフの学習時に空間性をもたらす。 自然言語推論の記号モデルとして、EGはテスト時に新しい前提や仮説を欠くと回復できない。 本稿では,新しいグラフ平滑化法を導入することにより,頂点スパーシティの問題にアプローチする。 平均精度を越えながら、2つの困難指向性包絡データセットの25.1および16.3絶対パーセンテージを改善し、エッジ空間の他の改善と相補性を示す。 さらに,言語モデルの埋め込みを解析し,仮説・スムーシングではなく前提・スムーシングに自然に適合する理由について論じる。 最後に、前提と仮説の両方を滑らかにするために推移鎖を構築して記号的推論法を平滑化する理論を定式化する。

関連論文リスト

• Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
  I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。 帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。 本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。 第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
  論文  参考訳（メタデータ） (2024-08-03T13:37:40Z)
• EntailE: Introducing Textual Entailment in Commonsense Knowledge Graph Completion [54.12709176438264]
  Commonsense knowledge graph(CSKG)は、名前付きエンティティ、短いフレーズ、イベントをノードとして表現するために自由形式のテキストを使用する。 現在の手法では意味的類似性を利用してグラフ密度を増大させるが、ノードとその関係のセマンティックな妥当性は未探索である。 そこで本研究では,CSKGノード間の暗黙的な包絡関係を見つけるために,テキストエンテーメントを導入し,同じ概念クラス内のサブグラフ接続ノードを効果的に密度化することを提案する。
  論文  参考訳（メタデータ） (2024-02-15T02:27:23Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• From the One, Judge of the Whole: Typed Entailment Graph Construction with Predicate Generation [69.91691115264132]
  Entailment Graphs (EG) は、自然言語における文脈に依存しないentailment関係を示すために構築される。 本稿では,この問題に対処する多段階型述語グラフ生成器(TP-EGG)を提案する。 ベンチマークデータセットの実験では、TP-EGGは高品質でスケール制御可能なエンターメントグラフを生成することができる。
  論文  参考訳（メタデータ） (2023-06-07T05:46:19Z)
• Unveiling the Sampling Density in Non-Uniform Geometric Graphs [69.93864101024639]
  グラフを幾何学グラフとみなす: ノードは基礎となる計量空間からランダムにサンプリングされ、その距離が指定された近傍半径以下であれば任意のノードが接続される。 ソーシャルネットワークでは、コミュニティは密集したサンプル領域としてモデル化でき、ハブはより大きな近傍半径を持つノードとしてモデル化できる。 我々は,未知のサンプリング密度を自己監督的に推定する手法を開発した。
  論文  参考訳（メタデータ） (2022-10-15T08:01:08Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• Learning Graphs from Smooth Signals under Moment Uncertainty [23.868075779606425]
  与えられたグラフ信号の集合からグラフ構造を推測する問題を検討する。 従来のグラフ学習モデルは、この分布の不確実性を考慮していない。
  論文  参考訳（メタデータ） (2021-05-12T06:47:34Z)
• Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
  確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。 我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。 実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T20:34:32Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。