論文の概要: DMRL: Data- and Model-aware Reward Learning for Data Extraction

• arxiv url: http://arxiv.org/abs/2505.06284v1
• Date: Wed, 07 May 2025 07:21:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.740678
• Title: DMRL: Data- and Model-aware Reward Learning for Data Extraction
• Title（参考訳）: DMRL:データ抽出のためのデータ・モデル・アウェア・リワード学習
• Authors: Zhiqiang Wang, Ruoxi Cheng,
• Abstract要約: 大規模言語モデル(LLM)は本質的に意図しないプライバシー侵害に対して脆弱である。 本稿では,データ抽出のためのデータ・モデル・アウェア・リワード学習手法を提案する。
• 参考スコア（独自算出の注目度）: 3.511535517476954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are inherently vulnerable to unintended privacy breaches. Consequently, systematic red-teaming research is essential for developing robust defense mechanisms. However, current data extraction methods suffer from several limitations: (1) rely on dataset duplicates (addressable via deduplication), (2) depend on prompt engineering (now countered by detection and defense), and (3) rely on random-search adversarial generation. To address these challenges, we propose DMRL, a Data- and Model-aware Reward Learning approach for data extraction. This technique leverages inverse reinforcement learning to extract sensitive data from LLMs. Our method consists of two main components: (1) constructing an introspective reasoning dataset that captures leakage mindsets to guide model behavior, and (2) training reward models with Group Relative Policy Optimization (GRPO), dynamically tuning optimization based on task difficulty at both the data and model levels. Comprehensive experiments across various LLMs demonstrate that DMRL outperforms all baseline methods in data extraction performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は本質的に意図しないプライバシー侵害に対して脆弱である。 したがって、堅牢な防御機構を開発するためには、系統的なレッドチーム研究が不可欠である。 しかし、現在のデータ抽出手法には、(1)データセットの重複(重複を補うことができる)、(2)迅速なエンジニアリング(現在は検出と防御に対抗している)、(3)ランダム検索の敵生成など、いくつかの制限がある。 これらの課題に対処するため,データ抽出のためのデータ・モデル・アウェア・リワード学習手法であるDMRLを提案する。 この手法は逆強化学習を利用してLLMから機密データを抽出する。 提案手法は,(1)モデル動作をガイドするイントロスペクティブ推論データセットの構築,(2)グループ相対ポリシー最適化(GRPO)を用いたトレーニング報酬モデルの構築,(2)データとモデルレベルでのタスク難易度に基づく動的最適化,という2つの要素から構成される。 各種LLMの総合的な実験により,DMRLはデータ抽出性能において,すべてのベースライン法より優れていることが示された。

関連論文リスト

• Towards Robust Universal Information Extraction: Benchmark, Evaluation, and Solution [66.11004226578771]
  既存の堅牢なベンチマークデータセットには2つの重要な制限がある。 単一の情報抽出(IE)タスクに対して、限られた範囲の摂動しか生成しない。 LLM(Large Language Models)の強力な生成機能を考慮すると、ruIE-Benchと呼ばれるRobust UIEのための新しいベンチマークデータセットを導入する。 データのうち、 textbf15% しかトレーニングしない場合、3つの IE タスクに対して、平均 textbf7.5% の相対的なパフォーマンス改善につながることを示す。
  論文  参考訳（メタデータ） (2025-03-05T05:39:29Z)
• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• iTool: Boosting Tool Use of Large Language Models via Iterative Reinforced Fine-Tuning [39.65877861652369]
  大規模な言語モデルを外部ツールで拡張することは、その能力を強化するための有望なアプローチである。 その結果, 合成データの増加に伴い, トレーニングは著しく低下することがわかった。 本稿では,これらの課題を軽減するために,反復的に強化された微調整戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-15T04:52:34Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Stealing Deep Reinforcement Learning Models for Fun and Profit [33.64948529132546]
  本稿では,Deep Reinforcement Learning (DRL) に対する最初のモデル抽出攻撃を提案する。 これにより、外部の敵は環境との相互作用からのみブラックボックスDRLモデルを正確に回復することができる。
  論文  参考訳（メタデータ） (2020-06-09T03:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。