論文の概要: Extracting Training Dialogue Data from Large Language Model based Task Bots

• arxiv url: http://arxiv.org/abs/2603.01550v1
• Date: Mon, 02 Mar 2026 07:25:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.7362
• Title: Extracting Training Dialogue Data from Large Language Model based Task Bots
• Title（参考訳）: 大規模言語モデルに基づくタスクボットからの学習対話データの抽出
• Authors: Shuo Zhang, Junzhou Zhao, Junji Hou, Pinghui Wang, Chenxu Wang, Jing Tao,
• Abstract要約: タスク指向対話システム(TODS)を強化するために,大規模言語モデル(LLM)が広く採用されている。 LLMは、豊富な訓練データをリッチな知識表現に圧縮するソフトナレッジベースとして機能する。 LLMは、電話番号などの識別可能な情報を含む訓練対話データを不注意に記憶することができる。
• 参考スコア（独自算出の注目度）: 23.896561852220984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have been widely adopted to enhance Task-Oriented Dialogue Systems (TODS) by modeling complex language patterns and delivering contextually appropriate responses. However, this integration introduces significant privacy risks, as LLMs, functioning as soft knowledge bases that compress extensive training data into rich knowledge representations, can inadvertently memorize training dialogue data containing not only identifiable information such as phone numbers but also entire dialogue-level events like complete travel schedules. Despite the critical nature of this privacy concern, how LLM memorization is inherited in developing task bots remains unexplored. In this work, we address this gap through a systematic quantitative study that involves evaluating existing training data extraction attacks, analyzing key characteristics of task-oriented dialogue modeling that render existing methods ineffective, and proposing novel attack techniques tailored for LLM-based TODS that enhance both response sampling and membership inference. Experimental results demonstrate the effectiveness of our proposed data extraction attack. Our method can extract thousands of training labels of dialogue states with best-case precision exceeding 70%. Furthermore, we provide an in-depth analysis of training data memorization in LLM-based TODS by identifying and quantifying key influencing factors and discussing targeted mitigation strategies.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑な言語パターンをモデル化し、文脈的に適切な応答を提供することでタスク指向対話システム(TODS)を強化するために広く採用されている。 しかし、この統合は、LLMのようなソフトナレッジベースとして機能し、豊富なトレーニングデータをリッチナレッジ表現に圧縮し、電話番号のような識別可能な情報だけでなく、完全な旅行スケジュールのような対話レベルのイベント全体を含むトレーニング対話データを不注意に記憶することができるなど、大きなプライバシーリスクをもたらす。 このプライバシーに関する重大な懸念にもかかわらず、タスクボットの開発においてLLMの記憶がどのように継承されているかは未解明のままである。 本研究では,既存の学習データ抽出攻撃の評価,既存手法を非効率に表現するタスク指向対話モデリングのキー特性の解析,および応答サンプリングとメンバシップ推論の両方を強化するLCMベースのTODSに適した新しい攻撃手法を提案する。 実験の結果,提案したデータ抽出攻撃の有効性が示された。 本手法は,最良ケース精度が70%を超える何千もの対話状態の訓練ラベルを抽出することができる。 さらに,重要な影響要因を特定し,定量化し,目標緩和戦略について議論することで,LLMベースのTODSにおけるトレーニングデータ記憶の詳細な分析を行う。

関連論文リスト

• On the Effectiveness of Membership Inference in Targeted Data Extraction from Large Language Models [3.1988753364712115]
  大規模言語モデル(LLM)は、mem-orizingトレーニングデータに傾向があり、重大なプライバシーリスクを引き起こす。 本研究では,複数のMIA手法をデータ抽出パイプラインに統合し,その性能を体系的に評価する。
  論文  参考訳（メタデータ） (2025-12-15T14:05:49Z)
• The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation [97.0658685969199]
  大規模言語モデル(LLM)は、幅広いタスクにわたって顕著な能力を示してきたが、トレーニングデータの記憶も示している。 本稿では,最近の研究成果を整理し,記憶の景観,その影響要因,その検出・緩和方法について考察する。
  論文  参考訳（メタデータ） (2025-07-08T01:30:46Z)
• Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models [79.90523648823522]
  多段階連続学習は破滅的な忘れを招きかねない。 本稿では, 3つの緩和戦略, モデルマージ, LoRAスケーリング係数の割引, 経験リプレイについて検討する。 その結果,経験的リプレイが最も効果的であることが示され,他の手法と組み合わせることでさらに効果が得られた。
  論文  参考訳（メタデータ） (2025-05-23T05:50:14Z)
• Unlearning Sensitive Information in Multimodal LLMs: Benchmark and Attack-Defense Evaluation [88.78166077081912]
  我々は、MLLMから特定のマルチモーダル知識を削除する方法を評価するために、マルチモーダル・アンラーニング・ベンチマークUnLOK-VQAとアタック・アンド・ディフェンス・フレームワークを導入する。 その結果,マルチモーダル攻撃はテキストや画像のみの攻撃よりも優れており,最も効果的な防御は内部モデル状態から解答情報を除去することを示した。
  論文  参考訳（メタデータ） (2025-05-01T01:54:00Z)
• From Reviews to Dialogues: Active Synthesis for Zero-Shot LLM-based Conversational Recommender System [49.57258257916805]
  大きな言語モデル(LLM)は強力なゼロショットレコメンデーション機能を示している。 現実的なアプリケーションは、スケーラビリティ、解釈可能性、データプライバシの制約により、より小さく、内部的に管理された推奨モデルを好むことが多い。 能動学習技術によって導かれるブラックボックスLSMを利用して,会話学習データを合成する能動データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-21T23:05:47Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
  記憶化とは、モデルがトレーニングデータからフレーズを保存して再生する傾向をいう。 本稿では, LLM記憶に関する文献を分類し, 粒度, 再現性, 望ましさの3次元にわたって探索する。 我々は、プライバシーとパフォーマンスのバランスをとる方法を含む、近い将来の潜在的研究トピックを特定することで、調査を締めくくっている。
  論文  参考訳（メタデータ） (2024-10-03T16:34:46Z)
• A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models [0.8899670429041453]
  生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。 新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-26T06:39:35Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Quantifying and Analyzing Entity-level Memorization in Large Language Models [4.59914731734176]
  大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。 記憶から生じるプライバシーリスクが注目されている。 実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:06:47Z)
• Mitigating Approximate Memorization in Language Models via Dissimilarity Learned Policy [0.0]
  大規模言語モデル(LLM)は大量のデータに基づいて訓練される。 LLMは、トレーニングデータの一部を記憶し、相手が適切にプロンプトすると、それらのデータを冗長に出力することを示した。
  論文  参考訳（メタデータ） (2023-05-02T15:53:28Z)
• Data Augmentation with Paraphrase Generation and Entity Extraction for Multimodal Dialogue System [9.912419882236918]
  我々は,小学生が基本数学の概念を学ぶための多モーダル対話システムに向けて研究している。 本研究では,音声対話システムパイプラインの自然言語理解モジュールのパラフレーズ生成によるデータ拡張の可能性を探る。 我々は,小型シードデータを用いたモデル・イン・ザ・ループ(MITL)戦略のパラフレーズ化が,インテント認識タスクの性能改善をもたらす有望なアプローチであることを示した。
  論文  参考訳（メタデータ） (2022-05-09T02:21:20Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。