Fugu-MT 論文翻訳(概要): Ward: Provable RAG Dataset Inference via LLM Watermarks

論文の概要: Ward: Provable RAG Dataset Inference via LLM Watermarks

arxiv url: http://arxiv.org/abs/2410.03537v1
Date: Fri, 4 Oct 2024 15:54:49 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 21:39:44.744958
Title: Ward: Provable RAG Dataset Inference via LLM Watermarks
Title（参考訳）: Ward: LLM透かしによる確率的RAGデータセット推論
Authors: Nikola Jovanović, Robin Staab, Maximilian Baader, Martin Vechev,
Abstract要約: Retrieval-Augmented Generation (RAG)は、ジェネレーション中に外部データを組み込むことでLLMを改善する。これにより、RAGシステムにおけるコンテンツの不正使用に対するデータ所有者の懸念が高まる。 LLM透かしに基づくRAG-DI手法であるWardを導入し、RAGシステムにおけるデータセットの使用に関する厳密な統計的保証をデータ所有者が取得できるようにする。
参考スコア（独自算出の注目度）: 6.112273651406279
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-Augmented Generation (RAG) improves LLMs by enabling them to incorporate external data during generation. This raises concerns for data owners regarding unauthorized use of their content in RAG systems. Despite its importance, the challenge of detecting such unauthorized usage remains underexplored, with existing datasets and methodologies from adjacent fields being ill-suited for its study. In this work, we take several steps to bridge this gap. First, we formalize this problem as (black-box) RAG Dataset Inference (RAG-DI). To facilitate research on this challenge, we further introduce a novel dataset specifically designed for benchmarking RAG-DI methods under realistic conditions, and propose a set of baseline approaches. Building on this foundation, we introduce Ward, a RAG-DI method based on LLM watermarks that enables data owners to obtain rigorous statistical guarantees regarding the usage of their dataset in a RAG system. In our experimental evaluation, we show that Ward consistently outperforms all baselines across many challenging settings, achieving higher accuracy, superior query efficiency and robustness. Our work provides a foundation for future studies of RAG-DI and highlights LLM watermarks as a promising approach to this problem.
Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、ジェネレーション中に外部データを組み込むことでLLMを改善する。これにより、RAGシステムにおけるコンテンツの不正使用に対するデータ所有者の懸念が高まる。その重要性にもかかわらず、そのような不正使用を検出するという課題は未解決のままであり、近隣の分野からの既存のデータセットや方法論は研究に不適である。この作業では、このギャップを埋めるためにいくつかのステップを踏んでいます。まず、この問題を(ブラックボックス)RAGデータセット推論(RAG-DI)として定式化する。さらに,現実的な条件下でのRAG-DI手法のベンチマークに特化して設計された新しいデータセットを導入し,一連のベースラインアプローチを提案する。この基盤を基盤として,データ所有者がRAGシステムにおけるデータセットの使用に関する厳密な統計的保証を得られるようなLCM透かしに基づくRAG-DI手法であるWardを導入する。実験評価では、Wardは、多くの難易度設定において、全てのベースラインを一貫して上回り、高い精度、優れたクエリ効率、ロバスト性を実現している。我々の研究は今後のRAG-DI研究の基礎を提供し、この問題に対する将来的なアプローチとしてLCM透かしを強調します。

関連論文リスト

Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
論文参考訳（メタデータ） (2024-11-11T14:25:37Z)
SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains [45.349645606978434]
Retrieval-augmented Generation (RAG) は大規模言語モデル(LLM)の質問応答能力を向上させるしかし、科学や医学などの専門分野に汎用的なRAGシステムを適用することは、分散シフトやドメイン固有のデータへのアクセス制限など、ユニークな課題を生んでいる。ドメイン適応のための質問応答と質問生成のジョイント機能を備えた自己学習手法であるSimRAGを提案する。
論文参考訳（メタデータ） (2024-10-23T15:24:16Z)
Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
論文参考訳（メタデータ） (2024-10-10T16:01:51Z)
BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
論文参考訳（メタデータ） (2024-07-01T09:09:27Z)
Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
論文参考訳（メタデータ） (2024-06-26T18:26:53Z)
DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文参考訳（メタデータ） (2024-06-25T04:27:53Z)
DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
隠れたデータセットの品質問題を検知する大規模言語モデルの能力を測定するために,データセットキュレーションエージェントベンチマークであるDCA-Benchを提案する。具体的には、テストベッドとして8つのオープンデータセットプラットフォームから、さまざまな実世界のデータセット品質の問題を収集します。提案したベンチマークは、単に問題解決を行うのではなく、問題発見におけるLLMの能力を測定するためのテストベッドとしても機能する。
論文参考訳（メタデータ） (2024-06-11T14:02:23Z)
Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
論文参考訳（メタデータ） (2024-03-15T16:30:14Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
論文参考訳（メタデータ） (2024-02-23T18:35:15Z)
Contrastive Multiple Instance Learning for Weakly Supervised Person ReID [50.04900262181093]
本稿では、より効果的に教師付きされたReIDに適した新しいフレームワークであるContrastive Multiple Instance Learning (CMIL)を紹介する。 CMILは、対照的な損失を生かしながら、単一のモデルと擬似ラベルを必要とせず、自分自身を区別する。 PerformancePhoto.coの実際のアプリケーションから自然に発生する弱いラベルを特徴とするMUDDデータセットの拡張であるWL-MUDDデータセットをリリースする。
論文参考訳（メタデータ） (2024-02-12T14:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。