論文の概要: LLM-as-a-Discriminator: When Synthetic Tables Still Look Real

• arxiv url: http://arxiv.org/abs/2606.09865v1
• Date: Mon, 01 Jun 2026 02:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:57.970575
• Title: LLM-as-a-Discriminator: When Synthetic Tables Still Look Real
• Title（参考訳）: LLM-as-a-Discriminator(動画)
• Abstract要約: LLMに各テーブルサンプルをREALまたはSyntheTICに分類するよう依頼する。 CTGAN, TVAE, および Gaussian Copula という3つのモデルを、UCI Adult と ACS Census という2つの公開データセット上で実行しています。 この結果から, LLMの識別は, モデル選択, 提供者毎の報告, データの符号化処理を行う場合の, 実用的なプライバシ監査信号であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.42481744176244507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy and data sharing are often in tension. Many organizations use synthetic data to reduce privacy risk and still share useful data. For tabular data, auditing privacy remains hard. In many cases, even humans cannot easily tell if a table is real or synthetic. In this paper, we propose a method based on LLM discrimination. We ask an LLM to classify each table sample as REAL or SYNTHETIC. We test two settings: C1 with table only, and C2 with table plus distributional metadata. We use LLaMA as an open model and Gemini as a reference model. In our experiments, we run three synthesis models, CTGAN, TVAE, and Gaussian Copula, on two public datasets, UCI Adult and ACS Census. We collect 451 valid trials. Our results show clear differences between models. On Adult, LLaMA reaches DRS=0% in reported cells, while Gemini reaches DRS=100% for CTGAN and TVAE. On Census, LLaMA predicts SYNTHETIC for most samples, while Gemini stays high in C1 but drops for CTGAN and TVAE in C2. We also compare with a classifier two-sample test (C2ST) and record linkage as distributional baselines, and with a human pilot of 2 annotators and 240 trials. Our results show that LLM discrimination is a practical privacy audit signal when model choice, per provider reporting, and data encoding are handled with care. For reproducibility, code and experiment scripts are available at https://github.com/SlokomManel/LLM-as-a-Discriminator.
• Abstract（参考訳）: プライバシとデータ共有は緊張関係にあることが多い。 多くの組織は、合成データを使用してプライバシーリスクを低減し、有用なデータを共有している。 表のデータについては、プライバシーの監査は依然として難しい。 多くの場合、人間でさえテーブルが本物か合成されているかを容易に判別できない。 本稿では,LLM識別に基づく手法を提案する。 LLMに各テーブルサンプルをREALまたはSyntheTICに分類するよう依頼する。 C1はテーブルのみで、C2はテーブルと分散メタデータです。 LLaMAをオープンモデルとして、Geminiをリファレンスモデルとして使用しています。 実験では,CTGAN,TVAE,Gaussian Copulaの3つの合成モデルを,UCIアダルトとACSセンサスの2つの公開データセット上で実行した。 有効な裁判は451件。 結果から, モデルの違いが明らかとなった。 成人では、LLaMAは報告細胞でDRS=0%、ジェミニはCTGANとTVAEでDRS=100%に達する。 国勢調査では、LLaMAはほとんどのサンプルでSyntheTICを予測し、ジェミニはC1で高いが、CTGANとTVAEはC2で減少する。 また,分類器2サンプルテスト (C2ST) と記録リンクを分布ベースラインとして比較し,アノテータ2基,試験240基のヒトパイロットとの比較を行った。 この結果から, LLMの識別は, モデル選択, 提供者毎の報告, データの符号化処理を行う場合の, 実用的なプライバシ監査信号であることが示唆された。 再現性については、https://github.com/SlokomManel/LLM-as-a-Discriminator.comで提供されている。

関連論文リスト

• Can LLM Annotations Replace User Clicks for Learning to Rank? [112.2254432364736]
  大規模な教師付きデータは最新のランキングモデルのトレーニングには不可欠だが、高品質な人的アノテーションの取得にはコストがかかる。 クリックデータは低コストの代替手段として広く使われており、近年の大規模言語モデル(LLM)の発展に伴い、LLMベースの関連アノテーションも有望なアノテーションとして登場した。 公開データセットであるTianGong-STと、産業データセットであるBaidu-Clickの両方の実験は、クリック管理モデルが高周波クエリでより良いパフォーマンスを示すことを示している。 データスケジューリングと周波数対応多目的学習という2つのトレーニング戦略を検討し、両方の監視信号を統合する。
  論文  参考訳（メタデータ） (2025-11-10T02:26:14Z)
• Demo: Statistically Significant Results On Biases and Errors of LLMs Do Not Guarantee Generalizable Results [10.858989372235657]
  本研究では,複数のLCM-as-a-judgeセットアップとプロンプトを用いて,これらのクエリに対する応答を評価する。 基礎研究として,LLM間の合意と回答および評価LLMの変化の影響について,2つの事例研究を行った。
  論文  参考訳（メタデータ） (2025-11-04T04:20:33Z)
• LLMSynthor: Macro-Aligned Micro-Records Synthesis with Large Language Models [20.767947974005168]
  LLM Synthorは、ターゲットのマクロ統計と一致した現実的なマイクロレコードを生成するマクロ認識シミュレータである。 合成データセットを反復的に構築し、合成アグリゲーションとターゲットアグリゲーションの差を最小限に抑える。 強力な現実主義、統計的忠実さ、実用性を実現し、経済学、社会科学、都市研究に広く応用されている。
  論文  参考訳（メタデータ） (2025-05-20T13:35:38Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Does Training on Synthetic Data Make Models Less Robust? [17.69532318920725]
  我々はLlama-2-7B-hfモデルを用いて自然言語推論(NLI)タスクのシミュレーション実験を行った。 以上の結果から,人工的なデータは期待通りに盲点を補強するものではないことが示唆された。
  論文  参考訳（メタデータ） (2025-02-11T01:03:33Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Large Language Models: An Applied Econometric Framework [1.348318541691744]
  我々はこの問題に答えるための計量的枠組みを開発する。 LLMのトレーニングデータセットと研究者のサンプルの間に「漏れがない」という条件下では、予測問題にLLMを使用することは有効である。 これらの要件は厳密であり、それらが破られると、LLMの制限は信頼できない経験的推定をもたらす。
  論文  参考訳（メタデータ） (2024-12-09T22:37:48Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。