論文の概要: StructGPT: A General Framework for Large Language Model to Reason over Structured Data

• arxiv url: http://arxiv.org/abs/2305.09645v2
• Date: Mon, 23 Oct 2023 07:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 12:35:37.215288
• Title: StructGPT: A General Framework for Large Language Model to Reason over Structured Data
• Title（参考訳）: StructGPT:構造化データを扱う大規模言語モデルのための汎用フレームワーク
• Authors: Jinhao Jiang, Kun Zhou, Zican Dong, Keming Ye, Wayne Xin Zhao and Ji-Rong Wen
• Abstract要約: 我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 117.13986738340027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study how to improve the zero-shot reasoning ability of large language models~(LLMs) over structured data in a unified way. Inspired by the study on tool augmentation for LLMs, we develop an \emph{Iterative Reading-then-Reasoning~(IRR)} approach for solving question answering tasks based on structured data, called \textbf{StructGPT}. In our approach, we construct the specialized function to collect relevant evidence from structured data (\ie \emph{reading}), and let LLMs concentrate the reasoning task based on the collected information (\ie \emph{reasoning}). Specially, we propose an \emph{invoking-linearization-generation} procedure to support LLMs in reasoning on the structured data with the help of the external interfaces. By iterating this procedures with provided interfaces, our approach can gradually approach the target answer to a given query. Extensive experiments conducted on three types of structured data demonstrate the effectiveness of our approach, which can significantly boost the performance of ChatGPT and achieve comparable performance against the full-data supervised-tuning baselines. Our codes and data are publicly available at~\url{https://github.com/RUCAIBox/StructGPT}.
• Abstract（参考訳）: 本稿では,構造化データに対する大規模言語モデルのゼロショット推論能力(LLM)を統一的に向上させる方法について検討する。 LLMのツール強化の研究に触発されて、構造化データに基づく質問応答タスクを解くための「emph{Iterative Reading-then-Reasoning~(IRR)}アプローチ、いわゆる「textbf{StructGPT」を開発した。 本研究では,構造化データ(\ie \emph{reading})から関連する証拠を収集する特殊関数を構築し,収集した情報(\ie \emph{reasoning})に基づいてLLMを推論タスクに集中させる。 特に,外部インタフェースの助けを借りて構造化データの推論において,llmをサポートするための<emph{invoking-linearization-generation>手順を提案する。 この手順をインターフェイスで反復することで、我々のアプローチは、所定のクエリに対するターゲットの回答に徐々にアプローチすることができる。 3種類の構造化データを用いて行った大規模な実験は,ChatGPTの性能を大幅に向上させ,全データ教師あり学習ベースラインに対して同等の性能が得られることを示す。 私たちのコードとデータは、~\url{https://github.com/RUCAIBox/StructGPT}で公開されています。

関連論文リスト

• On The Role of Prompt Construction In Enhancing Efficacy and Efficiency of LLM-Based Tabular Data Generation [16.79923685316516]
  本稿では, エキスパート誘導, LLM誘導, ノベル・マッピングの3つのプロプライエタリ・コンストラクションプロトコルについて検討する。 文脈に富んだプロンプトは、データ生成の品質とトレーニング効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-09-06T00:02:09Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• Struct-X: Enhancing Large Language Models Reasoning with Structured Data [38.558614152006975]
  構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason' 構造化データをグラフ埋め込みを用いて位相空間にエンコードする。 行方不明のエンティティ情報を知識検索モジュールで埋める。 最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
  論文  参考訳（メタデータ） (2024-07-17T13:06:25Z)
• StructLM: Towards Building Generalist Models for Structured Knowledge Grounding [49.10029030628653]
  大規模言語モデル(LLM)では、最先端(SoTA)モデルの背後にある構造化データラグを平均35%処理できる。 私たちは、MistralとCodeLlamaモデルファミリに基づいたStructLMと呼ばれる一連のモデルをトレーニングします。 我々のStructLMシリーズは、評価された18のデータセットのうち16のタスク固有モデルを超え、8つのSKGタスクに新しいSoTAパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-02-26T15:47:01Z)
• Leveraging Large Language Models for Structure Learning in Prompted Weak Supervision [24.866270447991752]
  私たちのStructure Refining Moduleは、ベンチマークタスクで最大12.7ポイント、PromptedWSパイプラインを改善しています。 また、包括的アブレーション実験と分析により、効率と性能のトレードオフについても検討する。
  論文  参考訳（メタデータ） (2024-02-02T19:45:39Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  本稿では,インストラクションチューニング(IT)の急速な発展分野における研究成果について調査する。 本稿では、指定しない場合を除き、命令チューニング(IT)は教師付き微調整(SFT)と等価である。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。