論文の概要: Unifying Structure Reasoning and Language Model Pre-training for Complex Reasoning

• arxiv url: http://arxiv.org/abs/2301.08913v2
• Date: Sat, 15 Jul 2023 06:40:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 23:30:54.454714
• Title: Unifying Structure Reasoning and Language Model Pre-training for Complex Reasoning
• Title（参考訳）: 複雑な推論のための構造推論と言語モデル事前学習
• Authors: Siyuan Wang, Zhongyu Wei, Jiarong Xu, Taishan Li, Zhihao Fan
• Abstract要約: 本稿では,明示的な構造推論と言語事前学習を組み合わせ,PLMと構造推論のスキルを融合した統合学習フレームワークを提案する。 まず、コンテクスト内のいくつかの基本構造を識別し、構造化されたクエリを構築し、クエリに沿ってステップバイステップの推論を行い、回答エンティティを識別する。 4つのデータセットに対する実験結果から,提案モデルが多様構造を含む複雑な推論タスクにおいて,大幅な改善を達成できることが示されている。
• 参考スコア（独自算出の注目度）: 26.811507121199323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent pre-trained language models (PLMs) equipped with foundation reasoning skills have shown remarkable performance on downstream complex tasks. However, the significant structure reasoning skill has been rarely studied, which involves modeling implicit structure information within the text and performing explicit logical reasoning over them to deduce the conclusion. This paper proposes a unified learning framework that combines explicit structure reasoning and language pre-training to endow PLMs with the structure reasoning skill. It first identifies several elementary structures within contexts to construct structured queries and performs step-by-step reasoning along the queries to identify the answer entity. The fusion of textual semantics and structure reasoning is achieved by using contextual representations learned by PLMs to initialize the representation space of structures, and performing stepwise reasoning on this semantic representation space. Experimental results on four datasets demonstrate that the proposed model achieves significant improvements in complex reasoning tasks involving diverse structures, and shows transferability to downstream tasks with limited training data and effectiveness for complex reasoning of KGs modality.
• Abstract（参考訳）: 近年,基礎推論技術を備えた事前学習型言語モデル (PLM) は,下流の複雑なタスクにおいて顕著な性能を示した。 しかし、テキスト内の暗黙構造情報をモデル化し、その結論を導出するために論理的論理的推論を行うという、重要な構造推論技術はほとんど研究されていない。 本稿では,明示的な構造推論と言語事前学習を組み合わせ,PLMと構造推論のスキルを融合した統合学習フレームワークを提案する。 まず、コンテクスト内のいくつかの基本構造を特定して構造化クエリを構築し、クエリに沿ってステップバイステップの推論を行い、回答エンティティを識別する。 テキスト意味論と構造推論の融合は、PLMが学習した文脈表現を用いて構造表現空間を初期化し、この意味表現空間を段階的に推論することで達成される。 4つのデータセットに対する実験結果から,提案モデルが多様な構造を含む複雑な推論タスクにおいて顕著な改善を実現し,訓練データに制限のある下流タスクへの転送可能性を示し,KGsの複雑な推論の有効性を示す。

関連論文リスト

• Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network [29.149367323751413]
  進化過程に推論を統合するメタ構造探索フレームワークReStructを提案する。 ReStructは推薦タスクとノード分類タスクの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-02-18T09:21:12Z)
• Demystifying Chains, Trees, and Graphs of Thoughts [20.980650840083385]
  利用構造の基本クラスを特定することに集中し、これらの構造表現を分析する。 本研究は,提案した分類法を用いて既存のプロンプト方式と比較し,特定の設計選択が性能とコストの異なるパターンにどのように寄与するかを論じる。
  論文  参考訳（メタデータ） (2024-01-25T16:34:00Z)
• SEER: Facilitating Structured Reasoning and Explanation via Reinforcement Learning [29.514755268807868]
  構造的推論と説明を容易にする構造的回帰を最大化する新しい手法であるSEERを提案する。 提案手法は構造的推論に固有の階層構造と分岐構造を正確に記述する。 実験の結果,SEERは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-01-24T06:10:51Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• Query Structure Modeling for Inductive Logical Reasoning Over Knowledge Graphs [67.043747188954]
  KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。 線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。 2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-23T01:25:29Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。