論文の概要: Ward: Provable RAG Dataset Inference via LLM Watermarks

• arxiv url: http://arxiv.org/abs/2410.03537v1
• Date: Fri, 4 Oct 2024 15:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-02 21:39:44.744958
• Title: Ward: Provable RAG Dataset Inference via LLM Watermarks
• Title（参考訳）: Ward: LLM透かしによる確率的RAGデータセット推論
• Authors: Nikola Jovanović, Robin Staab, Maximilian Baader, Martin Vechev,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、ジェネレーション中に外部データを組み込むことでLLMを改善する。 これにより、RAGシステムにおけるコンテンツの不正使用に対するデータ所有者の懸念が高まる。 LLM透かしに基づくRAG-DI手法であるWardを導入し、RAGシステムにおけるデータセットの使用に関する厳密な統計的保証をデータ所有者が取得できるようにする。
• 参考スコア（独自算出の注目度）: 6.112273651406279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) improves LLMs by enabling them to incorporate external data during generation. This raises concerns for data owners regarding unauthorized use of their content in RAG systems. Despite its importance, the challenge of detecting such unauthorized usage remains underexplored, with existing datasets and methodologies from adjacent fields being ill-suited for its study. In this work, we take several steps to bridge this gap. First, we formalize this problem as (black-box) RAG Dataset Inference (RAG-DI). To facilitate research on this challenge, we further introduce a novel dataset specifically designed for benchmarking RAG-DI methods under realistic conditions, and propose a set of baseline approaches. Building on this foundation, we introduce Ward, a RAG-DI method based on LLM watermarks that enables data owners to obtain rigorous statistical guarantees regarding the usage of their dataset in a RAG system. In our experimental evaluation, we show that Ward consistently outperforms all baselines across many challenging settings, achieving higher accuracy, superior query efficiency and robustness. Our work provides a foundation for future studies of RAG-DI and highlights LLM watermarks as a promising approach to this problem.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、ジェネレーション中に外部データを組み込むことでLLMを改善する。 これにより、RAGシステムにおけるコンテンツの不正使用に対するデータ所有者の懸念が高まる。 その重要性にもかかわらず、そのような不正使用を検出するという課題は未解決のままであり、近隣の分野からの既存のデータセットや方法論は研究に不適である。 この作業では、このギャップを埋めるためにいくつかのステップを踏んでいます。 まず、この問題を(ブラックボックス)RAGデータセット推論(RAG-DI)として定式化する。 さらに,現実的な条件下でのRAG-DI手法のベンチマークに特化して設計された新しいデータセットを導入し,一連のベースラインアプローチを提案する。 この基盤を基盤として,データ所有者がRAGシステムにおけるデータセットの使用に関する厳密な統計的保証を得られるようなLCM透かしに基づくRAG-DI手法であるWardを導入する。 実験評価では、Wardは、多くの難易度設定において、全てのベースラインを一貫して上回り、高い精度、優れたクエリ効率、ロバスト性を実現している。 我々の研究は今後のRAG-DI研究の基礎を提供し、この問題に対する将来的なアプローチとしてLCM透かしを強調します。

関連論文リスト

• Dataset Protection via Watermarked Canaries in Retrieval-Augmented LLMs [67.0310240737424]
  本稿では,テキストデータセットの所有権を保護し,RA-LLMによる不正使用を効果的に検出するための新しいアプローチを提案する。 提案手法では,IPデータセットに特別に設計されたカナリア文書を挿入することにより,元のデータを完全に変更することなく保護する。 検出プロセス中、カナリア文書をクエリし、RA-LLMの応答を分析することにより、不正使用を識別する。
  論文  参考訳（メタデータ） (2025-02-15T04:56:45Z)
• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• MARAGE: Transferable Multi-Model Adversarial Attack for Retrieval-Augmented Generation Data Extraction [6.917134562107388]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚に対する解決策を提供する。 既存のRAG抽出攻撃は、しばしば手作業によるプロンプトに依存し、その効果を制限している。 我々は、ターゲットRAGシステムに送信されたユーザクエリに付加された逆文字列を最適化するMARAGEと呼ばれるフレームワークを導入し、検索されたRAGデータを含む出力を発生させる。
  論文  参考訳（メタデータ） (2025-02-05T00:17:01Z)
• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains [45.349645606978434]
  Retrieval-augmented Generation (RAG) は大規模言語モデル(LLM)の質問応答能力を向上させる しかし、科学や医学などの専門分野に汎用的なRAGシステムを適用することは、分散シフトやドメイン固有のデータへのアクセス制限など、ユニークな課題を生んでいる。 ドメイン適応のための質問応答と質問生成のジョイント機能を備えた自己学習手法であるSimRAGを提案する。
  論文  参考訳（メタデータ） (2024-10-23T15:24:16Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Adversarial Databases Improve Success in Retrieval-based Large Language Models [0.3045901500495719]
  Retrieval-Augmented Generation (RAG) は、モデルが明示的に訓練されていないタスクにおいてLLMの性能を改善する技術である。 Llama 3、Phi-3、Mixtral 8x7b、Zephyr$beta$、Gemma 7B Instructなど、オープンソースのLLMをゼロショットRAGパイプラインでセットアップしました。 敵対的な情報ソースとして、聖書からのテキストとランダムワードの生成したデータベースを用いて比較を行った。
  論文  参考訳（メタデータ） (2024-07-19T18:08:39Z)
• BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
  Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。 一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。 本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
  論文  参考訳（メタデータ） (2024-07-01T09:09:27Z)
• Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。 本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-26T18:26:53Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
  隠れたデータセットの品質問題を検知する大規模言語モデルの能力を測定するために,データセットキュレーションエージェントベンチマークであるDCA-Benchを提案する。 具体的には、テストベッドとして8つのオープンデータセットプラットフォームから、さまざまな実世界のデータセット品質の問題を収集します。 提案したベンチマークは、単に問題解決を行うのではなく、問題発見におけるLLMの能力を測定するためのテストベッドとしても機能する。
  論文  参考訳（メタデータ） (2024-06-11T14:02:23Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• ERATTA: Extreme RAG for Table To Answers with Large Language Models [1.3318204310917532]
  検索拡張現実(RAG)を備えた大規模言語モデル(LLM)は、スケーラブルな生成AIソリューションに最適な選択肢である。 本研究では,データ認証,ユーザクエリルーティング,データ検索,エンタープライズデータテーブルからの質問応答機能へのカスタムプロンプトを実現するために,複数のLLMを起動可能なLLMベースのユニークなシステムを提案する。 提案するシステムと評価基準は,持続可能性,財務状況,ソーシャルメディア領域において,数百のユーザクエリに対して,90%以上の信頼性スコアを達成している。
  論文  参考訳（メタデータ） (2024-05-07T02:49:59Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
  Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。 本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:35:15Z)
• Contrastive Multiple Instance Learning for Weakly Supervised Person ReID [50.04900262181093]
  本稿では、より効果的に教師付きされたReIDに適した新しいフレームワークであるContrastive Multiple Instance Learning (CMIL)を紹介する。 CMILは、対照的な損失を生かしながら、単一のモデルと擬似ラベルを必要とせず、自分自身を区別する。 PerformancePhoto.coの実際のアプリケーションから自然に発生する弱いラベルを特徴とするMUDDデータセットの拡張であるWL-MUDDデータセットをリリースする。
  論文  参考訳（メタデータ） (2024-02-12T14:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。