論文の概要: Ward: Provable RAG Dataset Inference via LLM Watermarks

• arxiv url: http://arxiv.org/abs/2410.03537v2
• Date: Tue, 25 Feb 2025 16:22:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:20:04.993973
• Title: Ward: Provable RAG Dataset Inference via LLM Watermarks
• Title（参考訳）: Ward: LLM透かしによる確率的RAGデータセット推論
• Authors: Nikola Jovanović, Robin Staab, Maximilian Baader, Martin Vechev,
• Abstract要約: RAGにより、LCMは外部データを容易に組み込むことができ、コンテンツの不正使用に関するデータ所有者の懸念が高まる。 我々はこの問題を(ブラックボックス)RAGデータセット推論(RAG-DI)として定式化する。 次に,RAG-DI手法の現実的なベンチマークのための新しいデータセットを,ベースラインのセットとともに導入する。 我々は,RAGコーパスにおけるデータセットの誤用に関する厳密な統計的保証をデータ所有者に提供するLLM透かしに基づくRAG-DI手法であるWardを提案する。
• 参考スコア（独自算出の注目度）: 6.112273651406279
• License:
• Abstract: RAG enables LLMs to easily incorporate external data, raising concerns for data owners regarding unauthorized usage of their content. The challenge of detecting such unauthorized usage remains underexplored, with datasets and methods from adjacent fields being ill-suited for its study. We take several steps to bridge this gap. First, we formalize this problem as (black-box) RAG Dataset Inference (RAG-DI). We then introduce a novel dataset designed for realistic benchmarking of RAG-DI methods, alongside a set of baselines. Finally, we propose Ward, a method for RAG-DI based on LLM watermarks that equips data owners with rigorous statistical guarantees regarding their dataset's misuse in RAG corpora. Ward consistently outperforms all baselines, achieving higher accuracy, superior query efficiency and robustness. Our work provides a foundation for future studies of RAG-DI and highlights LLM watermarks as a promising approach to this problem.
• Abstract（参考訳）: RAGにより、LCMは外部データを容易に組み込むことができ、コンテンツの不正使用に関するデータ所有者の懸念が高まる。 このような不正な使用を検出するという課題は、その研究に不適な隣接分野からのデータセットや手法が探索されていないままである。 このギャップを埋めるためにいくつかのステップを踏む。 まず、この問題を(ブラックボックス)RAGデータセット推論(RAG-DI)として定式化する。 次に,RAG-DI手法の現実的なベンチマークのための新しいデータセットを,ベースラインのセットとともに導入する。 最後に,データ所有者にRAGコーパスにおけるデータセットの誤用に関する厳密な統計的保証を与えるLLM透かしに基づくRAG-DI手法であるWardを提案する。 Wardは、すべてのベースラインを一貫して上回り、高い精度、優れたクエリ効率、堅牢性を実現している。 我々の研究は今後のRAG-DI研究の基礎を提供し、この問題に対する将来的なアプローチとしてLCM透かしを強調します。

関連論文リスト

• Dataset Protection via Watermarked Canaries in Retrieval-Augmented LLMs [67.0310240737424]
  本稿では,テキストデータセットの所有権を保護し,RA-LLMによる不正使用を効果的に検出するための新しいアプローチを提案する。 提案手法では,IPデータセットに特別に設計されたカナリア文書を挿入することにより,元のデータを完全に変更することなく保護する。 検出プロセス中、カナリア文書をクエリし、RA-LLMの応答を分析することにより、不正使用を識別する。
  論文  参考訳（メタデータ） (2025-02-15T04:56:45Z)
• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs - No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文を対象とした2,326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• MARAGE: Transferable Multi-Model Adversarial Attack for Retrieval-Augmented Generation Data Extraction [6.917134562107388]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚に対する解決策を提供する。 既存のRAG抽出攻撃は、しばしば手作業によるプロンプトに依存し、その効果を制限している。 我々は、ターゲットRAGシステムに送信されたユーザクエリに付加された逆文字列を最適化するMARAGEと呼ばれるフレームワークを導入し、検索されたRAGデータを含む出力を発生させる。
  論文  参考訳（メタデータ） (2025-02-05T00:17:01Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Know Your RAG: Dataset Taxonomy and Generation Strategies for Evaluating RAG Systems [18.62773754004561]
  検索性能を評価するために公開質問と回答(Q&A)データセットを使用することで、最適でないシステム設計につながることを示す。 本稿ではラベルとラベルをターゲットとしたデータ生成によるRAGデータセットの特徴付けに基づくソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-29T13:57:07Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
  隠れたデータセットの品質問題を検知する大規模言語モデルの能力を測定するために,データセットキュレーションエージェントベンチマークであるDCA-Benchを提案する。 具体的には、テストベッドとして8つのオープンデータセットプラットフォームから、さまざまな実世界のデータセット品質の問題を収集します。 提案したベンチマークは、単に問題解決を行うのではなく、問題発見におけるLLMの能力を測定するためのテストベッドとしても機能する。
  論文  参考訳（メタデータ） (2024-06-11T14:02:23Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• Contrastive Multiple Instance Learning for Weakly Supervised Person ReID [50.04900262181093]
  本稿では、より効果的に教師付きされたReIDに適した新しいフレームワークであるContrastive Multiple Instance Learning (CMIL)を紹介する。 CMILは、対照的な損失を生かしながら、単一のモデルと擬似ラベルを必要とせず、自分自身を区別する。 PerformancePhoto.coの実際のアプリケーションから自然に発生する弱いラベルを特徴とするMUDDデータセットの拡張であるWL-MUDDデータセットをリリースする。
  論文  参考訳（メタデータ） (2024-02-12T14:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。