論文の概要: StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization

• arxiv url: http://arxiv.org/abs/2410.08815v2
• Date: Fri, 25 Oct 2024 12:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 21:55:57.958877
• Title: StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization
• Title（参考訳）: StructRAG:推論時ハイブリッド情報構造化によるLLMの知識集中推論
• Authors: Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li,
• Abstract要約: Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
• 参考スコア（独自算出の注目度）: 94.31508613367296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) is a key means to effectively enhance large language models (LLMs) in many knowledge-based tasks. However, existing RAG methods struggle with knowledge-intensive reasoning tasks, because useful information required to these tasks are badly scattered. This characteristic makes it difficult for existing RAG methods to accurately identify key information and perform global reasoning with such noisy augmentation. In this paper, motivated by the cognitive theories that humans convert raw information into various structured knowledge when tackling knowledge-intensive reasoning, we proposes a new framework, StructRAG, which can identify the optimal structure type for the task at hand, reconstruct original documents into this structured format, and infer answers based on the resulting structure. Extensive experiments across various knowledge-intensive tasks show that StructRAG achieves state-of-the-art performance, particularly excelling in challenging scenarios, demonstrating its potential as an effective solution for enhancing LLMs in complex real-world applications.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、多くの知識に基づくタスクにおいて、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 しかし,既存のRAG手法は知識集約的推論タスクに苦慮している。 この特徴により、既存のRAG法では、キー情報を正確に識別し、そのようなノイズの増大を伴う大域的推論を行うのが困難になる。 本稿では,人間が知識集約的推論に取り組む際に,生情報を様々な構造化知識に変換するという認知理論を動機として,手作業に最適な構造タイプを識別し,元の文書をこの構造化形式に再構成し,得られた構造に基づいて回答を推測する新しい枠組みであるStructRAGを提案する。 様々な知識集約的なタスクにわたる大規模な実験により、StructRAGは最先端のパフォーマンス、特に挑戦的なシナリオに優れており、複雑な現実世界のアプリケーションにおいてLLMを強化する効果的なソリューションとしての可能性を示している。

関連論文リスト

• UnKE: Unstructured Knowledge Editing in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 レイヤレベルでキーと値のペアを利用することで、UnKEは複雑で包括的な非構造化知識を効果的に表現し、編集する。 新たに提案された非構造知識編集データセット(UnKE)と従来の構造化データセットの結果は、UnKEが顕著な性能を発揮することを示している。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• Enhancing Question Answering for Enterprise Knowledge Bases using Large Language Models [46.51659135636255]
  EKRGは大規模言語モデル(LLM)に基づく新しい検索生成フレームワークである 知識検索者の学習に十分な文書検索ペアを生成するために,LLMを用いた命令チューニング手法を提案する。 我々は、学習過程の効率化を図るために、関連性に敏感な教師学生学習戦略を開発する。
  論文  参考訳（メタデータ） (2024-04-10T10:38:17Z)
• Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network [29.149367323751413]
  進化過程に推論を統合するメタ構造探索フレームワークReStructを提案する。 ReStructは推薦タスクとノード分類タスクの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-02-18T09:21:12Z)
• SEER: Facilitating Structured Reasoning and Explanation via Reinforcement Learning [29.514755268807868]
  構造的推論と説明を容易にする構造的回帰を最大化する新しい手法であるSEERを提案する。 提案手法は構造的推論に固有の階層構造と分岐構造を正確に記述する。 実験の結果,SEERは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-01-24T06:10:51Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• A Principled Framework for Knowledge-enhanced Large Language Model [58.1536118111993]
  大規模言語モデル(LLM)は汎用性があるが、深い信頼性のある推論を必要とするタスクに悩まされることが多い。 本稿では、知識を効果的に固定し、閉ループ推論プロセスを用いるLLMを作成するための厳密な設計のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-18T18:10:02Z)
• Structure in Deep Reinforcement Learning: A Survey and Open Problems [22.77618616444693]
  関数近似のためのディープニューラルネットワーク(DNN)の表現能力に支えられた強化学習(RL)は、多くのアプリケーションでかなりの成功を収めている。 しかし、様々な現実のシナリオに対処する実践性は、多様で予測不可能なダイナミクスによって特徴づけられるが、依然として限られている。 この制限は、データ効率の低下、一般化能力の制限、安全性保証の欠如、解釈可能性の欠如に起因している。
  論文  参考訳（メタデータ） (2023-06-28T08:48:40Z)
• LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model [96.889634747943]
  全ての典型的な情報抽出タスク(UIE)を1つの生成言語モデル(GLM)で普遍的にモデル化し、大きな可能性を明らかにした。 UIE のための構文知識のパワーを完全に解放する構造対応 GLM を提案する。 7つのタスクにわたるIEベンチマークが12以上あり、私たちのシステムはベースラインのUIEシステムよりも大幅に改善されていることを示しています。
  論文  参考訳（メタデータ） (2023-04-13T04:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。