論文の概要: Reasoning over Description Logic-based Contexts with Transformers
- arxiv url: http://arxiv.org/abs/2311.08941v2
- Date: Mon, 26 Feb 2024 08:40:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 18:58:22.327472
- Title: Reasoning over Description Logic-based Contexts with Transformers
- Title(参考訳): トランスフォーマーを用いた記述論理に基づく文脈の推論
- Authors: Angelos Poulis, Eleni Tsalapati, Manolis Koubarakis
- Abstract要約: 我々は、記述論理知識ベースから生成される合成自然言語質問回答データセットを構築した。
知識ベースの生成には、表現力のある言語$mathcalALCQ$を使用します。
DELTA$_M$のDeBERTaモデルの性能は、推論深度が大きくなると影響を受けなくなり、文の長さが大きくなると全く影響しないことを示す。
- 参考スコア(独自算出の注目度): 3.17062385457524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One way that the current state of the art measures the reasoning ability of
transformer-based models is by evaluating accuracy in downstream tasks like
logical question answering or proof generation over synthetic contexts
expressed in natural language. However, most of the contexts used are in
practice very simple; in most cases, they are generated from short first-order
logic sentences with only a few logical operators and quantifiers. In this
work, we seek to answer the question how well a transformer-based model will
perform reasoning over expressive contexts. For this purpose, we construct a
synthetic natural language question-answering dataset, generated by description
logic knowledge bases. For the generation of the knowledge bases, we use the
expressive language $\mathcal{ALCQ}$. The resulting dataset contains 384K
examples, and increases in two dimensions: i) reasoning depth, and ii) length
of sentences. We show that the performance of our DeBERTa-based model,
DELTA$_M$, is marginally affected when the reasoning depth is increased and it
is not affected at all when the length of the sentences is increasing. We also
evaluate the generalization ability of the model on reasoning depths unseen at
training, both increasing and decreasing, revealing interesting insights into
the model's adaptive generalization abilities.
- Abstract(参考訳): 現在の技術がトランスフォーマーベースのモデルの推論能力を測定する方法の1つは、自然言語で表現された合成文脈よりも論理的質問応答や証明生成のような下流タスクの精度を評価することである。
しかし、ほとんどの文脈は実際には非常に単純であり、ほとんどの場合、論理演算子と量化子しか持たない短い一階述語論理文から生成される。
本研究では,トランスフォーマーに基づくモデルが,表現的文脈に対する推論をどの程度うまく行うかという疑問に答える。
そこで我々は,記述論理知識ベースから生成した合成自然言語質問応答データセットを構築した。
知識ベースの生成には、表現力のある言語$\mathcal{alcq}$を使用します。
結果として得られたデータセットには、384kのサンプルが含まれ、2次元で増加する。
一 推論の深さ、及び
ii)文の長さ。
DELTA$_M$のDeBERTaモデルの性能は、推論深度が大きくなると影響を受けなくなり、文の長さが大きくなると全く影響しないことを示す。
また,モデルの一般化能力について,学習時に見つからない推論深度,増大と減少の両面から評価し,モデルの適応的一般化能力に関する興味深い洞察を明らかにした。
関連論文リスト
- QA-NatVer: Question Answering for Natural Logic-based Fact Verification [11.002475880349452]
我々は自然論理演算子を予測するために質問応答を用いることを提案する。
FEVERのいくつかの設定では、我々のアプローチは最高のベースラインを4.3ドルの精度で上回っている。
人間の評価から,本手法は,従来の自然論理に基づくシステムよりも,誤動作の少ない自然論理演算子でより妥当であることが示唆された。
論文 参考訳(メタデータ) (2023-10-22T06:27:31Z) - RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。
これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。
我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
論文 参考訳(メタデータ) (2023-05-10T17:54:51Z) - APOLLO: A Simple Approach for Adaptive Pretraining of Language Models
for Logical Reasoning [73.3035118224719]
本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。
APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-19T07:40:02Z) - MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。
推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。
この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
論文 参考訳(メタデータ) (2022-10-22T16:01:13Z) - RobustLR: Evaluating Robustness to Logical Perturbation in Deductive
Reasoning [25.319674132967553]
トランスフォーマーは、英語の自然言語で書かれた規則や文を含む論理ルールベースで演能的推論を実行できることが示されている。
本稿では,ルールベースにおける最小論理編集に対して,これらのモデルのロバスト性を評価するためにロバストLRを提案する。
先行研究で訓練されたモデルは、ロバストLRの異なる摂動に対して一貫して動作しないことがわかった。
論文 参考訳(メタデータ) (2022-05-25T09:23:50Z) - Prediction or Comparison: Toward Interpretable Qualitative Reasoning [16.02199526395448]
現在のアプローチでは、セマンティクスを使用して自然言語入力を論理式に変換するか、あるいは1ステップで解決する"ブラックボックス"モデルを使用する。
本研究では,定性的推論タスクを,予測と比較という2つのタイプに分類する。
特に、2つの推論プロセスをシミュレートするために、エンドツーエンドでトレーニングされたニューラルネットワークモジュールを採用しています。
論文 参考訳(メタデータ) (2021-06-04T10:27:55Z) - Logic-Driven Context Extension and Data Augmentation for Logical
Reasoning of Text [65.24325614642223]
論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。
このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。
本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
論文 参考訳(メタデータ) (2021-05-08T10:09:36Z) - Flexible Operations for Natural Language Deduction [32.92866195461153]
ParaPatternは、人間の直接の監督なしに様々な自然言語入力の論理変換を生成するモデルを構築する方法である。
我々は、BARTベースのモデルを用いて、特定の論理演算を1つ以上の前提文に適用した結果を生成する。
対象とするコントラストセットと、qascデータセットからのドメイン外文合成を用いてモデルを評価する。
論文 参考訳(メタデータ) (2021-04-18T11:36:26Z) - Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。
我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文 参考訳(メタデータ) (2020-12-30T20:40:48Z) - Multi-Step Inference for Reasoning Over Paragraphs [95.91527524872832]
テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。
本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
論文 参考訳(メタデータ) (2020-04-06T21:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。