論文の概要: Multi-Step Inference for Reasoning Over Paragraphs
- arxiv url: http://arxiv.org/abs/2004.02995v2
- Date: Mon, 7 Jun 2021 04:09:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 06:45:51.493279
- Title: Multi-Step Inference for Reasoning Over Paragraphs
- Title（参考訳）: パラグラフ上でのマルチステップ推論
- Authors: Jiangming Liu, Matt Gardner, Shay B. Cohen, Mirella Lapata
- Abstract要約: テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。
本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
- 参考スコア（独自算出の注目度）: 95.91527524872832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Complex reasoning over text requires understanding and chaining together
free-form predicates and logical connectives. Prior work has largely tried to
do this either symbolically or with black-box transformers. We present a middle
ground between these two extremes: a compositional model reminiscent of neural
module networks that can perform chained logical reasoning. This model first
finds relevant sentences in the context and then chains them together using
neural modules. Our model gives significant performance improvements (up to
29\% relative error reduction when comfibined with a reranker) on ROPES, a
recently introduced complex reasoning dataset.
- Abstract（参考訳）: テキスト上の複雑な推論には、自由形式述語と論理接続詞の理解と連鎖が必要である。
以前は、象徴的に、あるいはブラックボックス変圧器でこれを行おうとしていた。
この2つの極端の間には中間的な基礎がある: 連鎖論理的推論を行うニューラルネットワークを連想させる構成モデル。
このモデルはまずコンテキスト内の関連する文を見つけ、その後ニューラルネットワークモジュールを使ってそれらをまとめる。
我々のモデルは、最近導入された複雑な推論データセットであるROPESにおいて、大幅な性能改善(リランカと組み合わせた場合の相対誤差の最大29.%削減)を行う。
関連論文リスト
- Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - Emulating the Human Mind: A Neural-symbolic Link Prediction Model with
Fast and Slow Reasoning and Filtered Rules [4.979279893937017]
本稿では,FaSt-FLiPというニューラル・シンボリックモデルを提案する。
我々の目標は、リンク予測の強化のための論理モデルとニューラルモデルを組み合わせることである。
論文 参考訳（メタデータ） (2023-10-21T12:45:11Z) - Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。
ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。
その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
論文 参考訳（メタデータ） (2023-06-01T17:44:35Z) - APOLLO: A Simple Approach for Adaptive Pretraining of Language Models
for Logical Reasoning [73.3035118224719]
本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。
APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
論文 参考訳（メタデータ） (2022-12-19T07:40:02Z) - AdaLoGN: Adaptive Logic Graph Network for Reasoning-Based Machine
Reading Comprehension [21.741085513119785]
ReClorやLogiQAといった最近の機械学習の理解データセットでは、テキスト上で論理的推論を行う必要がある。
本稿では, テキスト単位間の論理的関係を表すグラフ上で, 応答を予測し, メッセージを渡すニューラルシンボリックなアプローチを提案する。
論文 参考訳（メタデータ） (2022-03-16T23:51:01Z) - Neural Unsupervised Semantic Role Labeling [48.69930912510414]
セマンティックロールラベリングのための最初の神経教師なしモデルを提案する。
タスクを2つの引数関連サブタスク、識別とクラスタリングとして分解する。
CoNLL-2009英語データセットの実験では、我々のモデルは過去の最先端のベースラインよりも優れていた。
論文 参考訳（メタデータ） (2021-04-19T04:50:16Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳（メタデータ） (2020-10-15T16:57:27Z) - Logic Constrained Pointer Networks for Interpretable Textual Similarity [11.142649867439406]
本稿では, セシネルゲーティング機能を備えた新しいポインターネットワークモデルを導入し, 構成チャンクを整列させる。
両文の相違を等しく補償し、アライメントが双方向であることを保証するために、損失関数によるこのベースモデルを改善する。
このモデルは、チャンクアライメントタスクのためのベンチマークSemEvalデータセットにおいて、97.73と96.32のF1スコアを達成する。
論文 参考訳（メタデータ） (2020-07-15T13:01:44Z) - An Analysis of the Utility of Explicit Negative Examples to Improve the
Syntactic Abilities of Neural Language Models [32.183409062294466]
ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。
直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
論文 参考訳（メタデータ） (2020-04-06T07:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。