論文の概要: What fidelity metrics miss: a structural check on synthetic educational data

• arxiv url: http://arxiv.org/abs/2609.27265v2
• Date: Thu, 24 Sep 2026 03:19:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.342593
• Title: What fidelity metrics miss: a structural check on synthetic educational data
• Title（参考訳）: 忠実度指標の欠落:総合的な教育データの構造的チェック
• Abstract要約: 教育記録の二次的利用は、データセットの差分プライベートな合成バージョンを共有するプラットフォームによってますます促進されている。 グラフしきい値を設定するための規則が2つのデータセット間のナイーブな比較を無効にすることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Secondary use of educational records is increasingly mediated by platforms that share a differentially private synthetic version of a dataset and validate specific findings against the real data on request. The synthetic version is evaluated by comparing summary statistics of each variable, yet reported confirmation rates suggest that such comparisons do not predict which findings survive. We propose a structural check: the number of connected components of a weekly proximity graph over learners, tracked across a term. Across four annual cohorts of lower-secondary study-habit logs, the synthetic versions reproduced the level of this quantity and the shape of the weekly partition, but its variation across the term was between 2.6 and 4.9 times smaller than in the real data at a common working point, without exception, and those changes fell in different weeks: the synthetic cohorts single out the term's examination weeks and the real cohorts do not. We also show that a routine rule for setting the graph threshold makes naive comparisons between two datasets invalid, and illustrate this with an error of our own. The real curves are also distinguishable from marginal-preserving surrogates of themselves in all four cohorts, where three of the four synthetic ones are not, a comparison that needs no real data; these differences trace to what the generator was given.
• Abstract（参考訳）: 教育記録の二次的利用は、データセットの差分プライベートな合成バージョンを共有し、要求された実際のデータに対して特定の結果を検証するプラットフォームによってますます促進されている。 合成版は各変数の要約統計を比較することで評価されるが、報告された確認率は、これらの比較がどの結果が生き残るかを予測していないことを示唆している。 そこで本稿では,学習者を対象とした週次近接グラフの連結成分数に関する構造的チェックを提案する。 年次調査生ログの4つの年次コホートの中で、合成版では、この量のレベルと週間分割の形状を再現したが、その期間の変動は、例外なく、共通作業点における実際のデータより2.6～4.9倍小さく、それらの変化は数週間で減少した。 また、グラフしきい値を設定するための規則が2つのデータセット間のナイーブな比較を無効にし、これを私たち自身のエラーで示すことも示している。 実際の曲線は、4つの合成曲線のうち3つは、実際のデータを必要としない比較であり、これらの差は、生成元が与えたものに起因している。

関連論文リスト

• Beyond Memorization: Reasoning-Driven Synthesis as a Mitigation Strategy Against Benchmark Contamination [77.69093448529455]
  本稿では,arXiv論文から直接研究レベルのQAを合成するために,無限にスケーラブルなフレームワークを用いて実証的研究を行う。 各種サイズ,開発者,リリース日といったモデルについて,知識カットオフ日に近い性能劣化の欠如を評価した。 合成パイプラインで要求される多段階の推論は、浅い記憶よりも深い複雑さをもたらしたと仮定する。
  論文  参考訳（メタデータ） (2025-08-26T16:41:37Z)
• Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
  実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。 属性集合上の実データと合成データセットの差について検討する。 興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
  論文  参考訳（メタデータ） (2024-04-23T17:10:49Z)
• The Real Deal Behind the Artificial Appeal: Inferential Utility of Tabular Synthetic Data [40.165159490379146]
  評価値が不偏であっても, 偽陽性の発見率(タイプ1の誤り)は不可避的に高いことが示唆された。 以前提案された補正係数が使用されているにもかかわらず、この問題は深層生成モデルに対して持続する。
  論文  参考訳（メタデータ） (2023-12-13T02:04:41Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• Continual Release of Differentially Private Synthetic Data from Longitudinal Data Collections [19.148874215745135]
  本研究では,縦方向のデータ収集から微分プライベートな合成データを連続的に放出する問題について検討する。 各ステップごとに、各ステップが新しいデータ要素をレポートするモデルを導入します。 本稿では,2種類のクエリを連続的に保存する合成データ生成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-13T16:22:08Z)
• Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
  本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。 具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
  論文  参考訳（メタデータ） (2022-08-21T07:47:05Z)
• Evaluating the Fairness Impact of Differentially Private Synthetic Data [0.9297355862757838]
  差分プライベート(DP)合成データは、機密情報を含むデータの有効性を最大化するための有望なアプローチである。 これらのモデルのうち3つのモデルが下流のバイナリ分類タスクにおいてフェアネスの結果を劣化させる場合が多いことを示す実験結果を示す。 マルチラベルアンダーサンプ法を用いて事前処理したデータに対する学習用シンセサイザーは、精度を低下させることなく、より公正な結果を促進することができる。
  論文  参考訳（メタデータ） (2022-05-09T14:25:24Z)
• Correct block-design experiments mitigate temporal correlation bias in EEG classification [68.85562949901077]
  [1]の主主張は極めて過大評価されており、他の分析は間違った方法論的選択によって深刻な欠陥を負っていることを示す。 脳波の時間相関が2つの実験環境で同じモデルをテストすることによって分類精度に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2020-11-25T22:25:21Z)
• Two-Sample Testing on Ranked Preference Data and the Role of Modeling Assumptions [57.77347280992548]
  本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。 私たちのテストでは、基本的に分布に関する仮定は必要ありません。 実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
  論文  参考訳（メタデータ） (2020-06-21T20:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。