論文の概要: Hidden Threat in Synthetic Data: Covert Targeted Bias Injection through Benign Text

• arxiv url: http://arxiv.org/abs/2608.30619v1
• Date: Mon, 31 Aug 2026 11:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.363414
• Title: Hidden Threat in Synthetic Data: Covert Targeted Bias Injection through Benign Text
• Title（参考訳）: 合成データにおける隠れ脅威:良質テキストによるカバーターゲットバイアス注入
• Abstract要約: 本研究では,社会的バイアスを意味論的に良質な合成データを通じて,整列モデルに注入できるかどうかを検討する。 実験では、良質な合成データが標的バイアスを伝達するための隠蔽チャネルとして機能することが示された。
• 参考スコア（独自算出の注目度）: 9.060748681063144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data is increasingly used to train large language models (LLMs), yet its security implications remain poorly understood. Prior work on subliminal learning suggests that models can inherit behavioral traits from seemingly unrelated training data. In this work, we investigate whether such mechanisms can be exploited to inject targeted social biases into aligned models through semantically benign synthetic data. We construct a pipeline in which a misaligned teacher model generates filtered synthetic datasets across domains such as creative writing and code generation, which are then used to fine-tune aligned student models. Our experiments show that benign-looking synthetic data can act as a covert channel for transmitting targeted biases while largely preserving the student model's general task capabilities. These results reveal a previously underexplored security risk in synthetic data-driven LLM training pipelines and highlight the need for improved safeguards. As one possible step toward this goal, we suggest that log-linearity-based scoring may provide a useful signal for screening seemingly benign synthetic data.
• Abstract（参考訳）: 合成データは、大規模言語モデル(LLM)のトレーニングにますます利用されているが、そのセキュリティへの影響はよく分かっていない。 サブリミナル学習に関する以前の研究は、モデルは、一見無関係なトレーニングデータから行動特性を継承できることを示している。 本研究では,このようなメカニズムを用いて,意味的良性合成データを用いて,対象とする社会的バイアスをアライメントモデルに注入できるかどうかを検討する。 本研究では, 教師モデルと教師モデルが一致しないパイプラインを構築し, 学習者モデルの微調整に使用する創造的記述やコード生成などの領域にまたがって, フィルタリングされた合成データセットを生成する。 本実験は, 学生モデルの汎用タスク能力を大きく保ちつつ, 対象バイアスを伝達するための隠蔽チャネルとして機能することを示す。 これらの結果から,合成データ駆動型LLMトレーニングパイプラインのセキュリティリスクは未解明であり,安全性向上の必要性が浮かび上がっている。 この目標に向けての1つのステップとして、対数線形性に基づくスコアリングが、一見良質な合成データのスクリーニングに有用な信号となることを示唆する。

関連論文リスト

• Phantoms and Disclosures: a Causal Framework for Auditing Synthetic Data [56.86147283213652]
  データ開示の検出と説明を目的とした,カスタマイズ可能な実証監査フレームワークを提案する。 本フレームワークでは,ユーザの情報を直接再現する「真の開示」と,ユーザのデータを偶発的に生成する「幻の開示」とを区別する機構を導入する。
  論文  参考訳（メタデータ） (2026-06-15T16:54:02Z)
• EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning [63.03672166010434]
  我々は、進化的、タスクに依存しない、戦略を導いた、実行可能検証可能なデータ合成フレームワークを紹介します。 問題、多様な候補解、検証成果物を共同で合成する。 これは、人間による注釈付きチェックと戦略によるチェックの合意を強制する一貫性に基づく評価器を通じて戦略を反復的に発見する。
  論文  参考訳（メタデータ） (2025-10-20T11:56:35Z)
• Understanding the Influence of Synthetic Data for Text Embedders [52.04771455432998]
  まず,Wangらによって提案された合成データの再生と公開を行った。 合成データがモデル一般化をどのように改善するかを批判的に検討する。 本研究は, 汎用インバータ構築における, 現在の合成データ手法の限界を浮き彫りにしたものである。
  論文  参考訳（メタデータ） (2025-09-07T19:28:52Z)
• Valid Inference with Imperfect Synthetic Data [39.10587411316875]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• Privacy Amplification Through Synthetic Data: Insights from Linear Regression [14.00448138862085]
  ランダムな入力から合成データが生成されると、限られた数の合成データポイントが、モデル固有の保証以上のプライバシーを増幅することを示す。 線形回帰に関する我々の発見は、将来的にはより一般的な境界を導出するための基礎となると信じている。
  論文  参考訳（メタデータ） (2025-06-05T14:44:15Z)
• The Canary's Echo: Auditing Privacy Risks of LLM-Generated Synthetic Text [23.412546862849396]
  我々は、敵がLarge Language Models(LLMs)によって生成された合成データにアクセス可能であると仮定する。 我々は、データ合成に使用されるLPMを微調整するために使用されるトレーニングデータをターゲットに、メンバーシップ推論攻撃(MIA)を設計する。 モデルに基づくMIAのために作られたカナリアは、合成データのみを公開する場合、プライバシー監査のサブ最適化であることがわかった。
  論文  参考訳（メタデータ） (2025-02-19T15:30:30Z)
• Synthetic Data Can Mislead Evaluations: Membership Inference as Machine Text Detection [1.03590082373586]
  会員評価における合成データの使用は、モデル記憶とデータ漏洩に関する誤った結論につながる可能性がある。 この問題は、実世界のサンプルの代わりに合成されたデータや機械で生成されたデータの損失など、モデル信号を用いた他の評価に影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2025-01-20T23:19:15Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Reliability in Semantic Segmentation: Can We Use Synthetic Data? [69.28268603137546]
  セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。 この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。 セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
  論文  参考訳（メタデータ） (2023-12-14T18:56:07Z)
• From Zero to Hero: Detecting Leaked Data through Synthetic Data Injection and Model Querying [10.919336198760808]
  分類モデルの学習に使用される漏洩データを検出する新しい手法を提案する。 textscLDSSは、クラス分散の局所的なシフトによって特徴付けられる、少量の合成データを所有者のデータセットに注入する。 これにより、モデルクエリ単独で、リークデータに基づいてトレーニングされたモデルの効果的な識別が可能になる。
  論文  参考訳（メタデータ） (2023-10-06T10:36:28Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• CasTGAN: Cascaded Generative Adversarial Network for Realistic Tabular Data Synthesis [0.4999814847776097]
  近年,GAN(Generative Adversarial Network)が注目されている。 合成データの妥当性と基礎となるプライバシーに関する懸念は、十分に対処されていない主要な課題を表している。
  論文  参考訳（メタデータ） (2023-07-01T16:52:18Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。