Fugu-MT 論文翻訳(概要): DeepNote: Note-Centric Deep Retrieval-Augmented Generation

論文の概要: DeepNote: Note-Centric Deep Retrieval-Augmented Generation

arxiv url: http://arxiv.org/abs/2410.08821v2
Date: Mon, 07 Apr 2025 16:17:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-17 11:59:11.070692
Title: DeepNote: Note-Centric Deep Retrieval-Augmented Generation
Title（参考訳）: DeepNote:ノート中心のDeep Retrieval-Augmented Generation
Authors: Ruobing Wang, Qingfei Zhao, Yukun Yan, Daren Zha, Yuxuan Chen, Shi Yu, Zhenghao Liu, Yixuan Wang, Shuo Wang, Xu Han, Zhiyuan Liu, Maosong Sun,
Abstract要約: Retrieval-Augmented Generation (RAG)は質問応答のための大規模言語モデル(LLM)における事実誤りと幻覚を緩和する我々は、ノート中心の適応検索により、知識ソースの奥深くで堅牢な探索を実現する適応RAGフレームワークであるDeepNoteを開発した。
参考スコア（独自算出の注目度）: 72.70046559930555
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-Augmented Generation (RAG) mitigates factual errors and hallucinations in Large Language Models (LLMs) for question-answering (QA) by incorporating external knowledge. However, existing adaptive RAG methods rely on LLMs to predict retrieval timing and directly use retrieved information for generation, often failing to reflect real information needs and fully leverage retrieved knowledge. We develop DeepNote, an adaptive RAG framework that achieves in-depth and robust exploration of knowledge sources through note-centric adaptive retrieval. DeepNote employs notes as carriers for refining and accumulating knowledge. During in-depth exploration, it uses these notes to determine retrieval timing, formulate retrieval queries, and iteratively assess knowledge growth, ultimately leveraging the best note for answer generation. Extensive experiments and analyses demonstrate that DeepNote significantly outperforms all baselines (+10.2% to +20.1%) and exhibits the ability to gather knowledge with both high density and quality. Additionally, DPO further improves the performance of DeepNote. The code and data are available at https://github.com/thunlp/DeepNote.
Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部知識を取り入れた質問応答(QA)のための大規模言語モデル(LLM)における事実誤りと幻覚を緩和する。しかしながら、既存の適応RAG法は、検索タイミングを予測し、取得した情報を生成に直接使用するためにLLMに依存しており、しばしば実際の情報要求を反映せず、取得した知識を完全に活用する。我々は,ノート中心の適応検索により,知識ソースの奥深くかつ堅牢な探索を実現する適応RAGフレームワークであるDeepNoteを開発した。 DeepNoteは、知識の精製と蓄積のためにキャリアとしてメモを使用している。詳細な調査では、これらのノートを使用して、検索タイミング、検索クエリの定式化、知識の成長を反復的に評価し、最終的には回答生成のためのベストノートを活用する。大規模な実験と分析により、DeepNoteはすべてのベースライン(+10.2%から+20.1%)を著しく上回り、高い密度と品質で知識を集める能力を示している。さらに、DPOはDeepNoteのパフォーマンスをさらに改善する。コードとデータはhttps://github.com/thunlp/DeepNoteで入手できる。

関連論文リスト

Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG [24.660769275714685]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン知識を組み込む重要な手法として登場した。本稿では,学習データを2つの方法で強化することで,微調整プロセスを大幅に強化する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2025-02-12T12:39:51Z)
DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
論文参考訳（メタデータ） (2025-02-03T08:22:45Z)
Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文参考訳（メタデータ） (2024-12-24T16:38:04Z)
WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
論文参考訳（メタデータ） (2024-08-14T15:19:16Z)
Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems [14.62114319247837]
Retrieval-augmented Generation (RAG)技術は、大規模言語モデル(LLM)のコンテキスト内学習機能を利用して、より正確で関連する応答を生成する。重要なコンポーネントであるQuery Rewriterモジュールは、検索フレンドリーなクエリを生成することで知識検索を強化する。これら4つのRAGモジュールは、RAGシステムの応答品質と効率を相乗的に改善する。
論文参考訳（メタデータ） (2024-07-15T12:35:00Z)
Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文参考訳（メタデータ） (2024-03-22T17:13:46Z)
Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文参考訳（メタデータ） (2024-03-21T13:52:30Z)
REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文参考訳（メタデータ） (2024-02-27T13:22:51Z)
RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering [42.66223628527439]
アダプティブ検索拡張生成(ARAG)は、不特定に検索するのではなく、クエリに対する検索の必要性を動的に決定することを目的としている。この研究は、新しい世界とロングテール知識をカバーする1,271の短い形式の質問を含む、RetrievalQAというベンチマークを提示する。
論文参考訳（メタデータ） (2024-02-26T09:59:04Z)
Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文参考訳（メタデータ） (2024-01-29T04:36:39Z)
Fine-Grained Stateful Knowledge Exploration: A Novel Paradigm for Integrating Knowledge Graphs with Large Language Models [19.049828741139425]
大きな言語モデル(LLM)は印象的な能力を示していますが、その知識を更新することは大きな課題です。既存のほとんどのメソッドは、質問を目的として扱うパラダイムを使用し、関連する知識は知識グラフから漸進的に取得される。本稿では,情報粒度ミスマッチ問題に対処する,微粒なステートフル知識探索のための新しいパラダイムを提案する。
論文参考訳（メタデータ） (2024-01-24T13:36:50Z)
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文参考訳（メタデータ） (2023-10-17T18:18:32Z)
Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文参考訳（メタデータ） (2023-10-08T04:22:33Z)
Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文参考訳（メタデータ） (2023-05-24T16:17:36Z)
The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
大規模言語モデル(LLM)は、大量の世界の知識を符号化する。我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
論文参考訳（メタデータ） (2023-05-18T14:20:32Z)
Multi-Grained Knowledge Retrieval for End-to-End Task-Oriented Dialog [42.088274728084265]
外部データベースから適切なドメイン知識を取得することは、エンドツーエンドのタスク指向の対話システムの中心にある。既存のシステムの多くは、知識検索と応答生成を融合させ、参照応答からの直接監督でそれらを最適化している。応答生成から知識検索を分離し,多粒度知識検索システムを提案する。
論文参考訳（メタデータ） (2023-05-17T12:12:46Z)
Active Retrieval Augmented Generation [123.68874416084499]
外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
論文参考訳（メタデータ） (2023-05-11T17:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。