論文の概要: RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

• arxiv url: http://arxiv.org/abs/2401.18059v1
• Date: Wed, 31 Jan 2024 18:30:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 13:28:13.558788
• Title: RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval
• Title（参考訳）: RAPTOR: 木構造検索のための再帰的抽象処理
• Authors: Parth Sarthi, Salman Abdullah, Aditi Tuli, Shubh Khanna, Anna Goldie, Christopher D. Manning
• Abstract要約: 本稿では,テキストの集合体への埋め込み,クラスタリング,要約という新たなアプローチを導入し,下から異なるレベルの要約レベルを持つ木を構築する。 我々のRAPTORモデルは、推測時にこの木から取得し、異なるレベルの抽象化で長いドキュメントにまたがる情報を統合します。
• 参考スコア（独自算出の注目度）: 26.527911244587134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented language models can better adapt to changes in world state and incorporate long-tail knowledge. However, most existing methods retrieve only short contiguous chunks from a retrieval corpus, limiting holistic understanding of the overall document context. We introduce the novel approach of recursively embedding, clustering, and summarizing chunks of text, constructing a tree with differing levels of summarization from the bottom up. At inference time, our RAPTOR model retrieves from this tree, integrating information across lengthy documents at different levels of abstraction. Controlled experiments show that retrieval with recursive summaries offers significant improvements over traditional retrieval-augmented LMs on several tasks. On question-answering tasks that involve complex, multi-step reasoning, we show state-of-the-art results; for example, by coupling RAPTOR retrieval with the use of GPT-4, we can improve the best performance on the QuALITY benchmark by 20% in absolute accuracy.
• Abstract（参考訳）: 検索可能な言語モデルは、世界の状況の変化に適応し、長い知識を取り入れることができる。 しかし、既存のほとんどの手法は、検索コーパスから短い連続的なチャンクのみを検索し、全体の文書コンテキストの全体的理解を制限する。 本稿では,テキストのチャンクを再帰的埋め込み,クラスタリング,要約するという新しいアプローチを導入し,底面から異なる要約レベルを持つ木を構築する。 推論時には、この木からラプターモデルを抽出し、さまざまな抽象レベルで長いドキュメントにまたがる情報を統合します。 制御された実験により、再帰的な要約による検索は、いくつかのタスクで従来の検索型lmsよりも大幅に改善されることが示された。 複雑で多段階の推論を含む質問応答タスクでは、例えば、RAPTOR検索とGPT-4を結合することにより、QuALITYベンチマークの最高の性能を20%精度で向上させることができる。

関連論文リスト

• ConTReGen: Context-driven Tree-structured Retrieval for Open-domain Long-form Text Generation [26.4086456393314]
  長い形式のテキスト生成には、幅と深さの両方で複雑なクエリに対処する一貫性のある包括的な応答が必要である。 既存の反復的な検索拡張生成アプローチは、複雑なクエリの各側面を深く掘り下げるのに苦労することが多い。 本稿では,コンテキスト駆動型木構造検索手法を用いた新しいフレームワークであるConTReGenを紹介する。
  論文  参考訳（メタデータ） (2024-10-20T21:17:05Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• Document-Level Abstractive Summarization [0.0]
  非常に長いテキストの自動要約を改善するために,トランスフォーマー技術がいかに効果的かを検討する。 より小さなチャンクを処理して文書全体の要約を生成するコストを削減できる新しい検索強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-06T14:39:09Z)
• Retrieval Augmentation for Commonsense Reasoning: A Unified Approach [64.63071051375289]
  検索強化コモンセンス推論(RACo)の統一的枠組みを提案する。 提案するRACoは,他の知識強化手法よりも優れる。
  論文  参考訳（メタデータ） (2022-10-23T23:49:08Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• RetrievalSum: A Retrieval Enhanced Framework for Abstractive Summarization [25.434558112121778]
  本稿では,高密度Retriever と Summarizer を組み合わせた新しい検索強化抽象要約フレームワークを提案する。 提案手法は,複数のドメインにまたがる広範囲な要約データセットと,BERTとBARTの2つのバックボーンモデルで検証する。 その結果, ROUGE-1 スコアの1.384.66 倍の精度向上が得られた。
  論文  参考訳（メタデータ） (2021-09-16T12:52:48Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• A Divide-and-Conquer Approach to the Summarization of Long Documents [4.863209463405628]
  本稿では,長い文書のニューラル・サマライゼーションのための分割・畳み込み手法を提案する。 本手法は文書の談話構造を利用して,文の類似性を利用して問題をより小さな要約問題に分割する。 本稿では,シーケンス・ツー・シーケンスのRNNやトランスフォーマーなど,様々な要約モデルと組み合わせることで,要約性能の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2020-04-13T20:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。