論文の概要: Unifying Structure Reasoning and Language Model Pre-training for Complex Reasoning

• arxiv url: http://arxiv.org/abs/2301.08913v1
• Date: Sat, 21 Jan 2023 08:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 15:50:21.938607
• Title: Unifying Structure Reasoning and Language Model Pre-training for Complex Reasoning
• Title（参考訳）: 複雑な推論のための構造推論と言語モデル事前学習
• Authors: Siyuan Wang, Zhongyu Wei, Jiarong Xu, Zhihao Fan
• Abstract要約: 本稿では,構造推論と言語モデルの事前学習を統合することを提案する。 コンテキストから4種類の基本知識構造を特定し、構造化クエリを構築する。 知識構造の文脈言語表現を用いて,ボックス埋め込みを初期化して構造推論を行う。
• 参考スコア（独自算出の注目度）: 29.289645404371438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent knowledge enhanced pre-trained language models have shown remarkable performance on downstream tasks by incorporating structured knowledge from external sources into language models. However, they usually suffer from a heterogeneous information alignment problem and a noisy knowledge injection problem. For complex reasoning, the contexts contain rich knowledge that typically exists in complex and sparse forms. In order to model structured knowledge in the context and avoid these two problems, we propose to unify structure reasoning and language model pre-training. It identifies four types of elementary knowledge structures from contexts to construct structured queries, and utilizes the box embedding method to conduct explicit structure reasoning along queries during language modeling. To fuse textual and structured semantics, we utilize contextual language representations of knowledge structures to initialize their box embeddings for structure reasoning. We conduct experiments on complex language reasoning and knowledge graph (KG) reasoning tasks. The results show that our model can effectively enhance the performance of complex reasoning of both language and KG modalities.
• Abstract（参考訳）: 近年,言語モデルに外部からの構造化知識を組み込むことで,下流タスクにおいて顕著な性能を示した。 しかし、それらは通常、異種情報アライメント問題とノイズの多い知識注入問題に悩まされる。 複雑な推論では、文脈は一般に複雑でスパースな形式に存在する豊富な知識を含む。 構造化知識を文脈でモデル化し,これら2つの問題を回避すべく,構造推論と言語モデルの事前学習を統一する。 文脈から基本知識構造を識別して構造化クエリを構築するとともに、ボックス埋め込み法を用いて、言語モデリング中にクエリに沿って明示的な構造推論を行う。 テキストと構造化セマンティクスを融合するために,知識構造の文脈言語表現を用いてボックス埋め込みを初期化して構造推論を行う。 複雑な言語推論と知識グラフ(KG)推論タスクの実験を行う。 その結果,本モデルは言語とkgの複雑な推論の性能を効果的に向上できることがわかった。

関連論文リスト

• GRSQA -- Graph Reasoning-Structured Question Answering Dataset [50.223851616680754]
  グラフ推論-構造化質問応答データセット(GRS-QA)を導入する。 既存のM-QAデータセットとは異なり、GRS-QAは推論グラフを構築することで複雑な推論経路を明示的にキャプチャする。 実験により, LLMは, 様々な推論構造を用いて, 問合せ処理を行う際に, 異なる性能を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-01T05:14:03Z)
• Exploring the Role of Reasoning Structures for Constructing Proofs in Multi-Step Natural Language Reasoning with Large Language Models [30.09120709652445]
  本稿では,現在最先端のジェネラリスト LLM がいくつかの例でこれらの構造を活用でき,テキスト・コンテクスト・ラーニングによる証明構造をより良く構築できるかどうかという,焦点を絞った研究に焦点をあてる。
  論文  参考訳（メタデータ） (2024-10-11T00:45:50Z)
• Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network [29.149367323751413]
  進化過程に推論を統合するメタ構造探索フレームワークReStructを提案する。 ReStructは推薦タスクとノード分類タスクの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-02-18T09:21:12Z)
• SEER: Facilitating Structured Reasoning and Explanation via Reinforcement Learning [29.514755268807868]
  構造的推論と説明を容易にする構造的回帰を最大化する新しい手法であるSEERを提案する。 提案手法は構造的推論に固有の階層構造と分岐構造を正確に記述する。 実験の結果,SEERは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-01-24T06:10:51Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• Query Structure Modeling for Inductive Logical Reasoning Over Knowledge Graphs [67.043747188954]
  KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。 線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。 2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-23T01:25:29Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。