論文の概要: Exploring Neural Models for Parsing Natural Language into First-Order Logic

• arxiv url: http://arxiv.org/abs/2002.06544v1
• Date: Sun, 16 Feb 2020 09:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 17:30:58.578135
• Title: Exploring Neural Models for Parsing Natural Language into First-Order Logic
• Title（参考訳）: 自然言語を一階論理に解析するニューラルモデルの検討
• Authors: Hrituraj Singh, Milan Aggrawal, Balaji Krishnamurthy
• Abstract要約: 英文を1次論理(FOL)に解析する際のニューラルモデルの有用性について検討する。 自然言語文が与えられた場合のシーケンスマッピングタスクとしてFOL解析をモデル化し、LSTMを用いて中間表現に符号化し、次に対応するFOL式で述語を逐次生成するデコーダを用いる。
• 参考スコア（独自算出の注目度）: 10.62143644603835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic parsing is the task of obtaining machine-interpretable representations from natural language text. We consider one such formal representation - First-Order Logic (FOL) and explore the capability of neural models in parsing English sentences to FOL. We model FOL parsing as a sequence to sequence mapping task where given a natural language sentence, it is encoded into an intermediate representation using an LSTM followed by a decoder which sequentially generates the predicates in the corresponding FOL formula. We improve the standard encoder-decoder model by introducing a variable alignment mechanism that enables it to align variables across predicates in the predicted FOL. We further show the effectiveness of predicting the category of FOL entity - Unary, Binary, Variables and Scoped Entities, at each decoder step as an auxiliary task on improving the consistency of generated FOL. We perform rigorous evaluations and extensive ablations. We also aim to release our code as well as large scale FOL dataset along with models to aid further research in logic-based parsing and inference in NLP.
• Abstract（参考訳）: 意味解析は自然言語テキストから機械解釈可能な表現を得るタスクである。 本稿では、一階述語論理(FOL)という形式的な表現を考察し、英文をFOLに解析するニューラルネットワークの能力について考察する。 自然言語文が与えられた場合のシーケンスマッピングタスクとしてFOL解析をモデル化し、LSTMを用いて中間表現に符号化し、次に対応するFOL式で述語を逐次生成するデコーダを用いる。 予測されたFOLの述語間で変数をアライメントする可変アライメント機構を導入することにより,標準的なエンコーダ・デコーダモデルを改善する。 さらに、生成されたFOLの整合性を改善するための補助的なタスクとして、デコーダの各ステップにおいて、FOLのカテゴリであるUnary, Binary, Variables, Scoped Entitiesを予測する効果を示す。 我々は厳密な評価と広範囲のアブレーションを行う。 また、NLPにおける論理ベースの解析と推論のさらなる研究を支援するため、大規模なFOLデータセットとともに、コードのリリースも目標としています。

関連論文リスト

• Learning Semantic Structure through First-Order-Logic Translation [4.005483185111992]
  言語モデルは、どのオブジェクトに適用されるかの述語を混乱させることがある。 一般化能力を評価するために設計された合成データセット上で、いくつかの大きな言語モデルを微調整する。 その結果,LLMのFOL翻訳は述語構造を学習するのに適していることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T07:39:34Z)
• SLFNet: Generating Semantic Logic Forms from Natural Language Using Semantic Probability Graphs [6.689539418123863]
  自然言語インターフェースの構築は通常、ユーザの自然言語を解析し、構造化された textbfSemantic textbfLogic textbfForms (SLFs) に変換するために semanticSlot を使用する。 本研究では,依存構文情報を先行知識として組み込んだニューラルネットワークSLFNetを提案し,文脈情報と単語間の長距離相互作用を捉える。 実験の結果,中国QCI-TSデータセットとオカピデータセットのSLFNetによる最先端のパフォーマンス,ATISデータセットの競合性能が得られた。
  論文  参考訳（メタデータ） (2024-03-29T02:42:39Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Towards Computationally Verifiable Semantic Grounding for Language Models [18.887697890538455]
  本論文は、エンティティ関係三重項の集合として形式化された所望のセマンティックメッセージが与えられた条件モデル生成テキストとしてLMを概念化する。 LMを自動エンコーダに埋め込むと、出力が入力メッセージと同じ表現領域にあるセマンティック・フラエンシに出力を送り込む。 提案手法は,グリーディ検索のベースラインを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-11-16T17:35:52Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining [59.169836983883656]
  COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。 COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。 分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
  論文  参考訳（メタデータ） (2021-02-16T22:24:29Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。