論文の概要: Reasoning over Description Logic-based Contexts with Transformers

• arxiv url: http://arxiv.org/abs/2311.08941v1
• Date: Wed, 15 Nov 2023 13:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 15:55:49.448910
• Title: Reasoning over Description Logic-based Contexts with Transformers
• Title（参考訳）: トランスフォーマーを用いた記述論理に基づく文脈の推論
• Authors: Angelos Poulis, Eleni Tsalapati, Manolis Koubarakis
• Abstract要約: 我々は、記述論理知識ベースから生成される合成自然言語質問回答データセットを構築した。 知識ベースの生成には、表現力のある言語$mathcalALCQ$を使用します。 DELTA$_M$のDeBERTaモデルの性能は、推論深度が大きくなると影響を受けなくなり、文の長さが大きくなると全く影響しないことを示す。
• 参考スコア（独自算出の注目度）: 3.17062385457524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One way that the current state of the art measures the reasoning ability of transformer-based models is by evaluating accuracy in downstream tasks like logical question answering or proof generation over synthetic contexts expressed in natural language. However, most of the contexts used are in practice very simple; in most cases, they are generated from short first-order logic sentences with only a few logical operators and quantifiers. In this work, we seek to answer the question how well a transformer-based model will perform reasoning over expressive contexts. For this purpose, we construct a synthetic natural language question-answering dataset, generated by description logic knowledge bases. For the generation of the knowledge bases, we use the expressive language $\mathcal{ALCQ}$. The resulting dataset contains 384K examples, and increases in two dimensions: i) reasoning depth, and ii) length of sentences. We show that the performance of our DeBERTa-based model, DELTA$_M$, is marginally affected when the reasoning depth is increased and it is not affected at all when the length of the sentences is increasing. We also evaluate the generalization ability of the model on reasoning depths unseen at training, both increasing and decreasing, revealing interesting insights into the model's adaptive generalization abilities.
• Abstract（参考訳）: 現在の技術がトランスフォーマーベースのモデルの推論能力を測定する方法の1つは、自然言語で表現された合成文脈よりも論理的質問応答や証明生成のような下流タスクの精度を評価することである。 しかし、ほとんどの文脈は実際には非常に単純であり、ほとんどの場合、論理演算子と量化子しか持たない短い一階述語論理文から生成される。 本研究では,トランスフォーマーに基づくモデルが,表現的文脈に対する推論をどの程度うまく行うかという疑問に答える。 そこで我々は,記述論理知識ベースから生成した合成自然言語質問応答データセットを構築した。 知識ベースの生成には、表現力のある言語$\mathcal{alcq}$を使用します。 結果として得られたデータセットには、384kのサンプルが含まれ、2次元で増加する。 一 推論の深さ、及び ii)文の長さ。 DELTA$_M$のDeBERTaモデルの性能は、推論深度が大きくなると影響を受けなくなり、文の長さが大きくなると全く影響しないことを示す。 また,モデルの一般化能力について,学習時に見つからない推論深度,増大と減少の両面から評価し,モデルの適応的一般化能力に関する興味深い洞察を明らかにした。

関連論文リスト

• Transformer-based Language Models for Reasoning in the Description Logic ALCQ [2.8210912543324658]
  自然言語のデータセット DELTA$_D$ を表現型記述論理言語 $mathcalALCQ$ を使って構築する。 教師付き細調整DeBERTaモデルと2つの大言語モデルの論理的推論能力について検討する。 データセットに微調整されたDeBERTaベースのモデルが、詳細チェックタスクをマスターできることを示します。
  論文  参考訳（メタデータ） (2024-10-12T18:25:34Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• Neural Methods for Logical Reasoning Over Knowledge Graphs [14.941769519278745]
  知識グラフ(KGs)上でのマルチホップ論理的クエリの応答に焦点をあてる。 これまでのほとんどの作業では、FOL(First-Order Logical)クエリを完全に受け入れるモデルを作成することができなかった。 本稿では,ニューラルネットワークを用いて一点ベクトル埋め込みを生成し,問合せに答えるモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-28T23:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。