論文の概要: DIRAS: Efficient LLM Annotation of Document Relevance in Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2406.14162v4
• Date: Thu, 23 Jan 2025 08:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:57:15.102981
• Title: DIRAS: Efficient LLM Annotation of Document Relevance in Retrieval Augmented Generation
• Title（参考訳）: DIRAS:Retrieval Augmented Generationにおける文書関連の効率的なLCMアノテーション
• Authors: Jingwei Ni, Tobias Schimanski, Meihong Lin, Mrinmaya Sachan, Elliott Ash, Markus Leippold,
• Abstract要約: ドメイン固有のクエリは通常、浅いセマンティックな関連性を超えて、関連性のニュアンス定義を必要とする。 人間またはGPT-4アノテーションは費用がかかり、全ての(クエリ、ドキュメント)ペアをカバーできない。 DIRAS (Domain-specific Information Retrieval with Scalability) は手動アノテーションのないスキーマである。
• 参考スコア（独自算出の注目度）: 37.823892101215684
• License:
• Abstract: Retrieval Augmented Generation (RAG) is widely employed to ground responses to queries on domain-specific documents. But do RAG implementations leave out important information when answering queries that need an integrated analysis of information (e.g., Tell me good news in the stock market today.)? To address these concerns, RAG developers need to annotate information retrieval (IR) data for their domain of interest, which is challenging because (1) domain-specific queries usually need nuanced definitions of relevance beyond shallow semantic relevance; and (2) human or GPT-4 annotation is costly and cannot cover all (query, document) pairs (i.e., annotation selection bias), thus harming the effectiveness in evaluating IR recall. To address these challenges, we propose DIRAS (Domain-specific Information Retrieval Annotation with Scalability), a manual-annotation-free schema that fine-tunes open-sourced LLMs to consider nuanced relevance definition and annotate (partial) relevance labels with calibrated relevance scores. Extensive evaluation shows that DIRAS enables smaller (8B) LLMs to achieve GPT-4-level performance on annotating and ranking unseen (query, document) pairs, and is helpful for real-world RAG development. All code, LLM generations, and human annotations can be found in \url{https://github.com/EdisonNi-hku/DIRAS}.
• Abstract（参考訳）: Retrieval Augmented Generation (RAG) はドメイン固有のドキュメントのクエリに対する応答を基盤として広く使われている。 しかし、RAGの実装は、情報の統合分析を必要とするクエリ(例えば、今日の株式市場で良いニュースを教えてくれる)に答えるときに重要な情報を残しているだろうか? これらの懸念に対処するために、RAG開発者は、情報検索(IR)データを関心のある領域にアノテートする必要がある。なぜなら、(1)ドメイン固有のクエリは通常、浅いセマンティックな関連性以上の関連性のニュアンス定義を必要とするからであり、(2)人間またはGPT-4アノテーションはコストが高く、すべての(クエリ、ドキュメント)ペア(つまり、アノテーションの選択バイアス)をカバーできないため、IRリコールの評価の有効性を損なうからである。 DIRAS(Domain-specific Information Retrieval Annotation with Scalability)は,Nuanced Relevance Definition と Annotate Relevance labels with calibrated Relevance scores (partial) Relevance labels with calibrated Relevance scores, LLMs to consider nuanced Relevance definition and annotate (partial) Relevance labels with calibrated Relevance scores。 拡張評価の結果, DIRAS はより小さい (8B) LLM で, 注釈付き (クエリ, ドキュメント) ペアのアノテートおよびランク付けにおいて GPT-4 レベルの性能を実現し, 実世界の RAG 開発に有効であることが示唆された。 すべてのコード、LLM世代、人間のアノテーションは \url{https://github.com/EdisonNi-hku/DIRAS} で見ることができる。

関連論文リスト

• SAGEval: The frontiers of Satisfactory Agent based NLG Evaluation for reference-free open-ended text [0.848663031844483]
  本稿では,参照/グラウンドラベルが存在しない,あるいは十分に利用できない,自然言語生成のためのロバストな評価手法を開発する必要性を明らかにする。 本研究では,LCM評価器のスコアを補正し,複雑なNLG評価シナリオにおいてもラベル付きデータの必要性を低減できることを示す。
  論文  参考訳（メタデータ） (2024-11-25T04:07:16Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback [17.986392250269606]
  Relevance Feedback (ReDE-RF) による実文書埋め込みについて紹介する。 ReDE-RFは、関連性フィードバックにインスパイアされて、関連性推定タスクとして仮説文書生成を再構成することを提案する。 実験の結果,ReDE-RFは最先端のゼロショット高密度検索手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T17:40:40Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering [28.79851078451609]
  大規模言語モデル(LLM)は、内部(パラメトリック)知識にのみ依存して、事実的な回答を生成するのに苦労することが多い。 この制限に対処するため、Retrieval-Augmented Generation (RAG)システムでは、外部ソースから関連情報を検索することでLLMを強化している。 我々はLLMのランキング機能を活用してW-RAGを提案する。
  論文  参考訳（メタデータ） (2024-08-15T22:34:44Z)
• Evaluation of RAG Metrics for Question Answering in the Telecom Domain [0.650923326742559]
  Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)が質問応答(QA)タスクを実行できるようにするために広く使われている。 この作業は、いくつかの指標(事実性、文脈関連性、回答関連性、回答正当性、回答類似性、事実正当性)に対して修正されたこのパッケージで、プロンプトの中間出力を提供する。 次に、修正されたRAGASパッケージの出力のエキスパート評価を分析し、通信領域で使用する際の課題を観察する。
  論文  参考訳（メタデータ） (2024-07-15T17:40:15Z)
• RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
  アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。 公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
  論文  参考訳（メタデータ） (2024-05-23T11:00:19Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。