論文の概要: Unifying Structure Reasoning and Language Model Pre-training for Complex
Reasoning
- arxiv url: http://arxiv.org/abs/2301.08913v2
- Date: Sat, 15 Jul 2023 06:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 23:30:54.454714
- Title: Unifying Structure Reasoning and Language Model Pre-training for Complex
Reasoning
- Title(参考訳): 複雑な推論のための構造推論と言語モデル事前学習
- Authors: Siyuan Wang, Zhongyu Wei, Jiarong Xu, Taishan Li, Zhihao Fan
- Abstract要約: 本稿では,明示的な構造推論と言語事前学習を組み合わせ,PLMと構造推論のスキルを融合した統合学習フレームワークを提案する。
まず、コンテクスト内のいくつかの基本構造を識別し、構造化されたクエリを構築し、クエリに沿ってステップバイステップの推論を行い、回答エンティティを識別する。
4つのデータセットに対する実験結果から,提案モデルが多様構造を含む複雑な推論タスクにおいて,大幅な改善を達成できることが示されている。
- 参考スコア(独自算出の注目度): 26.811507121199323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent pre-trained language models (PLMs) equipped with foundation reasoning
skills have shown remarkable performance on downstream complex tasks. However,
the significant structure reasoning skill has been rarely studied, which
involves modeling implicit structure information within the text and performing
explicit logical reasoning over them to deduce the conclusion. This paper
proposes a unified learning framework that combines explicit structure
reasoning and language pre-training to endow PLMs with the structure reasoning
skill. It first identifies several elementary structures within contexts to
construct structured queries and performs step-by-step reasoning along the
queries to identify the answer entity. The fusion of textual semantics and
structure reasoning is achieved by using contextual representations learned by
PLMs to initialize the representation space of structures, and performing
stepwise reasoning on this semantic representation space. Experimental results
on four datasets demonstrate that the proposed model achieves significant
improvements in complex reasoning tasks involving diverse structures, and shows
transferability to downstream tasks with limited training data and
effectiveness for complex reasoning of KGs modality.
- Abstract(参考訳): 近年,基礎推論技術を備えた事前学習型言語モデル (PLM) は,下流の複雑なタスクにおいて顕著な性能を示した。
しかし、テキスト内の暗黙構造情報をモデル化し、その結論を導出するために論理的論理的推論を行うという、重要な構造推論技術はほとんど研究されていない。
本稿では,明示的な構造推論と言語事前学習を組み合わせ,PLMと構造推論のスキルを融合した統合学習フレームワークを提案する。
まず、コンテクスト内のいくつかの基本構造を特定して構造化クエリを構築し、クエリに沿ってステップバイステップの推論を行い、回答エンティティを識別する。
テキスト意味論と構造推論の融合は、PLMが学習した文脈表現を用いて構造表現空間を初期化し、この意味表現空間を段階的に推論することで達成される。
4つのデータセットに対する実験結果から,提案モデルが多様な構造を含む複雑な推論タスクにおいて顕著な改善を実現し,訓練データに制限のある下流タスクへの転送可能性を示し,KGsの複雑な推論の有効性を示す。
関連論文リスト
- Large Language Model-driven Meta-structure Discovery in Heterogeneous
Information Network [30.611083354562016]
不均一情報ネットワーク(HIN)は、多様なタイプのノード間の複雑な関係を捉えることで人気が高まっている。
これまでの努力は、説明可能性を見越して、優れた経験的予測性能を持つメタ構造を探すことに集中していた。
本稿では,LLM推論を進化過程に統合したReasoning meta-STRUCTure search(ReStruct)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T09:21:12Z) - Topologies of Reasoning: Demystifying Chains, Trees, and Graphs of
Thoughts [22.3263003401478]
利用構造の基本クラスを特定することに集中し、これらの構造表現を分析する。
本研究は,提案した分類法を用いて既存のプロンプト方式と比較し,特定の設計選択が性能とコストの異なるパターンにどのように寄与するかを論じる。
論文 参考訳(メタデータ) (2024-01-25T16:34:00Z) - SEER: Facilitating Structured Reasoning and Explanation via
Reinforcement Learning [31.27430164522226]
構造的説明は 複雑な構造的推論を 要求します
構造的推論と説明を容易にする構造的回帰を最大化する新しい手法であるSEERを提案する。
提案手法は構造的推論に固有の階層構造と分岐構造を正確に記述する。
論文 参考訳(メタデータ) (2024-01-24T06:10:51Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Leveraging Structured Information for Explainable Multi-hop Question
Answering and Reasoning [14.219239732584368]
本研究では,マルチホップ質問応答のための抽出された意味構造(グラフ)の構築と活用について検討する。
実験結果と人的評価の結果から、我々のフレームワークはより忠実な推論連鎖を生成し、2つのベンチマークデータセットのQA性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-11-07T05:32:39Z) - Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information [79.06082391992545]
本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。
文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2023-10-08T08:47:10Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳(メタデータ) (2023-06-21T07:34:27Z) - Query Structure Modeling for Inductive Logical Reasoning Over Knowledge
Graphs [67.043747188954]
KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。
線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。
2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-05-23T01:25:29Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。