論文の概要: Revolutionizing Retrieval-Augmented Generation with Enhanced PDF
Structure Recognition
- arxiv url: http://arxiv.org/abs/2401.12599v1
- Date: Tue, 23 Jan 2024 09:54:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 16:20:05.575267
- Title: Revolutionizing Retrieval-Augmented Generation with Enhanced PDF
Structure Recognition
- Title(参考訳): PDF構造認識の強化による検索機能強化
- Authors: Demiao Lin (chatdoc.com)
- Abstract要約: 主要な基盤モデル企業が Embedding と Chat API インターフェースをオープンし,LangChain などのフレームワークがすでに RAG プロセスを統合している。
本稿は, 高品質テキストコーパスにアクセスする前提に依存している。
パン光学およびピンポイントPDFを備えたRAGシステムChatDOCは,より正確で完全なセグメントを検索し,より良い回答を得る。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: With the rapid development of Large Language Models (LLMs),
Retrieval-Augmented Generation (RAG) has become a predominant method in the
field of professional knowledge-based question answering. Presently, major
foundation model companies have opened up Embedding and Chat API interfaces,
and frameworks like LangChain have already integrated the RAG process. It
appears that the key models and steps in RAG have been resolved, leading to the
question: are professional knowledge QA systems now approaching perfection?
This article discovers that current primary methods depend on the premise of
accessing high-quality text corpora. However, since professional documents are
mainly stored in PDFs, the low accuracy of PDF parsing significantly impacts
the effectiveness of professional knowledge-based QA. We conducted an empirical
RAG experiment across hundreds of questions from the corresponding real-world
professional documents. The results show that, ChatDOC, a RAG system equipped
with a panoptic and pinpoint PDF parser, retrieves more accurate and complete
segments, and thus better answers. Empirical experiments show that ChatDOC is
superior to baseline on nearly 47% of questions, ties for 38% of cases, and
falls short on only 15% of cases. It shows that we may revolutionize RAG with
enhanced PDF structure recognition.
- Abstract(参考訳): 大規模言語モデル(llms)の急速な発展に伴い、検索型生成(rag)は専門知識に基づく質問応答の分野において主流となっている。
現在、主要な基盤モデル企業が Embedding と Chat API インターフェースをオープンしており、LangChain のようなフレームワークはすでに RAG プロセスを統合している。
ragの重要なモデルとステップが解決されたように思える。 プロフェッショナルな知識qaシステムは、今、完璧に近づいているのだろうか?
本稿では, 高品質テキストコーパスにアクセスする前提に依存している。
しかし、専門文書は主にPDFに格納されているため、PDF解析の精度が低いことは専門知識に基づくQAの有効性に大きな影響を及ぼす。
我々は実世界のプロフェッショナル文書から数百の質問に対して実験的なRAG実験を行った。
その結果, panoptic と pinpoint の pdf パーサを備えた rag システムである chatdoc が,より正確かつ完全なセグメントを検索し,よりよい回答を得ることができた。
実証実験によれば、chatdocは質問の47%でベースラインよりも優れており、ケースの38%が関連しており、ケースの15%が不足している。
PDF構造認識の強化によりRAGに革命をもたらす可能性が示唆された。
関連論文リスト
- REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - HiQA: A Hierarchical Contextual Augmentation RAG for Massive Documents
QA [14.20201554222619]
HiQAは、カスケードメタデータをコンテンツとマルチルート検索機構に統合する。
MDQAを評価・研究するためのベンチマークMasQAをリリースする。
論文 参考訳(メタデータ) (2024-02-01T02:24:15Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented
Generation of Large Language Models [55.47070014913373]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - The Power of Noise: Redefining Retrieval for RAG Systems [19.387105120040157]
Retrieval-Augmented Generation (RAG) は、大規模言語モデルの事前学習知識を超えて拡張する方法として登場した。
我々は、RAGソリューションが取得すべきパスIRシステムの種類に焦点を当てる。
論文 参考訳(メタデータ) (2024-01-26T14:14:59Z) - PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。
本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。
ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
論文 参考訳(メタデータ) (2023-09-16T04:29:05Z) - QontSum: On Contrasting Salient Content for Query-focused Summarization [22.738731393540633]
クエリ中心の要約(QFS)は、特定のクエリに対処する要約を生成する自然言語処理において難しいタスクである。
本稿では,GARにおけるQFSの役割について述べる。
コントラスト学習を利用したQFSの新しい手法であるQontSumを提案する。
論文 参考訳(メタデータ) (2023-07-14T19:25:35Z) - Explicit and Implicit Semantic Ranking Framework [13.636822534972083]
自己学習型セマンティック・クロスアテンションランキング(sRank)を導入した汎用的なセマンティック・ラーニング・ツー・ランク・フレームワークを提案する。
このフレームワークは、可変トレーニングバッチサイズで線形ペアワイズロスを使用し、品質向上と高い効率を達成する。
これは、現実世界の大規模データセットよりも、Microsoftの2つの業界タスクの利益を示すために、効果的に適用されている。
論文 参考訳(メタデータ) (2023-04-11T01:10:49Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - Retrieving and Reading: A Comprehensive Survey on Open-domain Question
Answering [62.88322725956294]
OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。
Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。
次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
論文 参考訳(メタデータ) (2021-01-04T04:47:46Z) - Recognizing Families In the Wild: White Paper for the 4th Edition Data
Challenge [91.55319616114943]
本稿では,Recognizing Families In the Wild(RFIW)評価における支援課題(親族検証,三対象検証,行方不明児の検索・検索)を要約する。
本研究の目的は、2020年のRFIWチャレンジと、将来的な方向性の予測について述べることである。
論文 参考訳(メタデータ) (2020-02-15T02:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。