論文の概要: Struct-X: Enhancing Large Language Models Reasoning with Structured Data

• arxiv url: http://arxiv.org/abs/2407.12522v1
• Date: Wed, 17 Jul 2024 13:06:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 17:17:27.300141
• Title: Struct-X: Enhancing Large Language Models Reasoning with Structured Data
• Title（参考訳）: Struct-X: 構造化データを用いた大規模言語モデルの強化
• Authors: Xiaoyu Tan, Haoyu Wang, Xihe Qiu, Yuan Cheng, Yinghui Xu, Wei Chu, Yuan Qi,
• Abstract要約: 構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason' 構造化データをグラフ埋め込みを用いて位相空間にエンコードする。 行方不明のエンティティ情報を知識検索モジュールで埋める。 最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
• 参考スコア（独自算出の注目度）: 38.558614152006975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured data, rich in logical and relational information, has the potential to enhance the reasoning abilities of large language models (LLMs). Still, its integration poses a challenge due to the risk of overwhelming LLMs with excessive tokens and irrelevant context information. To address this, we propose Struct-X, a novel framework that operates through five key phases: ``read-model-fill-reflect-reason'' efficiently enabling LLMs to utilize structured data. It begins by encoding structured data into a topological space using graph embeddings, followed by filling in missing entity information with knowledge retrieval modules, and filtering out irrelevant tokens via a self-supervised module. The final phase involves constructing a topological network with selected tokens to further reduce the total token length for more effective LLM inference. Additionally, Struct-X includes an Auxiliary Module trained to generate prompts, aiding LLMs in analyzing structured data. Extensive experiments on benchmarks, including the knowledge graph question-answer task and the long document reading comprehension task, show that Struct-X notably improves LLM reasoning, demonstrating the effectiveness of structured data augmentation in improving LLM inference with complex input context.
• Abstract（参考訳）: 論理的および関係的な情報に富んだ構造化データは、大規模言語モデル(LLM)の推論能力を高める可能性がある。 それでもその統合は、過剰なトークンと無関係なコンテキスト情報を持つ圧倒的なLLMのリスクのため、課題となる。 そこで本研究では,LLMを効率よく活用できる「read-model-fill-reflect-reason'」という,5つの重要なフェーズを通した新しいフレームワークであるStruct-Xを提案する。 まず、構造化されたデータをグラフ埋め込みを使ってトポロジ空間にエンコードし、その後、知識検索モジュールで欠落したエンティティ情報を埋め込み、自己管理モジュールを通じて無関係なトークンをフィルタリングする。 最終フェーズでは、より効果的なLLM推論のために、トークン全体の長さをさらに削減するために、選択されたトークンを持つトポロジネットワークを構築する。 さらに、Struct-Xには、プロンプトを生成するために訓練された補助モジュールが含まれており、構造化データの解析においてLLMを支援する。 知識グラフ質問応答タスクや長い文書読解タスクなどのベンチマーク実験により、Struct-XはLLM推論を顕著に改善し、複雑な入力コンテキストによるLLM推論の改善における構造化データ拡張の有効性を示した。

関連論文リスト

• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• Structure Guided Prompt: Instructing Large Language Model in Multi-Step Reasoning by Exploring Graph Structure of the Text [44.81698187939784]
  本稿では,大規模言語モデル(LLM)の多段階推論能力向上を目的としたフレームワークであるStructure Guided Promptを紹介する。 実験の結果,このフレームワークはLLMの推論能力を大幅に向上し,より広い範囲の自然言語シナリオを拡張できることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T22:56:23Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Making Large Language Models Perform Better in Knowledge Graph Completion [42.175953129260236]
  大言語モデル(LLM)に基づく知識グラフ補完(KGC)は、LLMによるKGの欠落を予測することを目的としている。 本稿では,LLMに構造情報を組み込む手法について検討する。
  論文  参考訳（メタデータ） (2023-10-10T14:47:09Z)
• Can LLMs Effectively Leverage Graph Structural Information through Prompts, and Why? [18.328637750057037]
  大きな言語モデル(LLM)は、リッチテキスト属性でグラフを処理する能力に注目が集まっている。 グラフデータに固有の構造情報の取り込みにより,LLMの予測性能が向上する理由を理解することを目的としている。
  論文  参考訳（メタデータ） (2023-09-28T16:58:37Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。