論文の概要: RECAP: Reproducing Copyrighted Data from LLMs Training with an Agentic Pipeline

• arxiv url: http://arxiv.org/abs/2510.25941v1
• Date: Wed, 29 Oct 2025 20:36:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.563567
• Title: RECAP: Reproducing Copyrighted Data from LLMs Training with an Agentic Pipeline
• Title（参考訳）: RECAP: エージェントパイプラインによるLLMのトレーニングから著作権付きデータを再現する
• Authors: André V. Duarte, Xuying li, Bin Zeng, Arlindo L. Oliveira, Lei Li, Zhuo Li,
• Abstract要約: 本稿では,大規模な言語モデルから記憶されたトレーニングデータを抽出し,検証するためのエージェントパイプラインRECAPを提案する。 RECAPの中心にはフィードバック駆動のループがあり、初期抽出の試みは二次言語モデルによって評価される。 我々は、30冊以上の本にまたがる新しいベンチマークであるEchoTrace上でRECAPを評価し、その結果、RECAPがシングルイテレーションアプローチよりも大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 9.49236542025774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: If we cannot inspect the training data of a large language model (LLM), how can we ever know what it has seen? We believe the most compelling evidence arises when the model itself freely reproduces the target content. As such, we propose RECAP, an agentic pipeline designed to elicit and verify memorized training data from LLM outputs. At the heart of RECAP is a feedback-driven loop, where an initial extraction attempt is evaluated by a secondary language model, which compares the output against a reference passage and identifies discrepancies. These are then translated into minimal correction hints, which are fed back into the target model to guide subsequent generations. In addition, to address alignment-induced refusals, RECAP includes a jailbreaking module that detects and overcomes such barriers. We evaluate RECAP on EchoTrace, a new benchmark spanning over 30 full books, and the results show that RECAP leads to substantial gains over single-iteration approaches. For instance, with GPT-4.1, the average ROUGE-L score for the copyrighted text extraction improved from 0.38 to 0.47 - a nearly 24% increase.
• Abstract（参考訳）: 大きな言語モデル(LLM)のトレーニングデータを検査できない場合、どのようにしてそれが見たかを知ることができますか? 最も説得力のある証拠は、モデル自体がターゲットコンテンツを自由に再現するときに生じると信じている。 そこで本研究では,LSM出力から記憶されたトレーニングデータを抽出し,検証するためのエージェントパイプラインRECAPを提案する。 RECAPの中心となるループはフィードバック駆動のループであり、最初の抽出の試みは二次言語モデルによって評価され、出力を参照パスと比較し、相違点を識別する。 これらは最小限の補正ヒントに変換され、ターゲットモデルにフィードバックされ、その後の世代を導く。 さらに、アライメントによって引き起こされる拒絶に対処するために、RECAPには、そのような障壁を検出し克服するjailbreakingモジュールが含まれている。 我々は、30冊以上の本にまたがる新しいベンチマークであるEchoTrace上でRECAPを評価し、その結果、RECAPがシングルイテレーションアプローチよりも大幅に向上することを示した。 例えば、GPT-4.1では、著作権付きテキスト抽出の平均ROUGE-Lスコアは0.38から0.47に改善され、ほぼ24%増加した。

関連論文リスト

• AIC CTU system at AVeriTeC: Re-framing automated fact-checking as a simple RAG task [0.0]
  本稿では、簡易な検索・拡張生成法(RAG)を用いて、野生で回収された証拠を用いた事実確認の課題に対する解決法について述べる。 我々は、その2つのモジュール、Retriever と Evidence & Label ジェネレータを詳細に説明し、MMR-re rank や Likert-scale confidence estimation などの特徴を正当化します。 我々は、予測の欠陥がデータ内のノイズや曖昧な事実チェックとよく一致し、さらなる研究とデータの増大を引き起こすことを実証的エラー解析により確認する。
  論文  参考訳（メタデータ） (2024-10-15T09:50:19Z)
• RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
  アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。 公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
  論文  参考訳（メタデータ） (2024-05-23T11:00:19Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems [22.142588104314175]
  Retrieval-In-Context RAG Language Models (LMs) におけるデータストアリークのリスクについて検討する。 敵はLMの命令追従機能を利用してデータストアからテキストデータを簡単に抽出できることを示す。 ランダムに選択された25個のGPTに対して、100%の成功率でデータストアリークを引き起こす攻撃を設計する。
  論文  参考訳（メタデータ） (2024-02-27T19:08:05Z)
• RDR: the Recap, Deliberate, and Respond Method for Enhanced Language Understanding [6.738409533239947]
  Recap、Deliberate、Respond(RDR)パラダイムは、ニューラルネットワークパイプラインに3つの異なる目的を組み込むことで、この問題に対処する。 これら3つのモデルをカスケードすることにより、ベンチマークをゲームする可能性を軽減し、基盤となるセマンティックパターンをキャプチャする堅牢な方法を確立する。 その結果,標準基準値の最大2%向上とともに,競争基準値と比較して性能が向上した。
  論文  参考訳（メタデータ） (2023-12-15T16:41:48Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Shall We Pretrain Autoregressive Language Models with Retrieval? A Comprehensive Study [115.96080028033904]
  本稿では,拡張性のある事前学習型検索拡張LM(RETRO)について,標準GPTと検索拡張GPTと比較した。 本研究は, 将来の基盤モデルとしての検索による自己回帰型LMの事前学習の方向性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-04-13T18:04:19Z)
• Robust Spoken Language Understanding with RL-based Value Error Recovery [35.82890898452309]
  Spoken Language Understanding (SLU) は、音声認識されたテキストから構造化された意味表現(例えば、スロット値対)を抽出することを目的としている。 本稿では,ルールベースの値エラー回復モジュールを用いてSLU入力適応を誘導する,新しいロバストなSLUフレームワークを提案する。 パブリックCATSLUデータセットを用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-09-07T13:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。