論文の概要: Shared Autoregressive Context Can Distort Relationships in Synthetic Data

• arxiv url: http://arxiv.org/abs/2609.32546v1
• Date: Sat, 26 Sep 2026 12:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 06:43:51.124998
• Title: Shared Autoregressive Context Can Distort Relationships in Synthetic Data
• Title（参考訳）: 共有自己回帰文脈は合成データ中の関係を歪曲することができる
• Abstract要約: 大規模言語モデルでは、1つの自己回帰補完内で複数のレコードを生成することができる。 本稿では, 合成データ中の変数間の関係を歪曲することができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can generate several records within one autoregressive completion, making earlier answers available as context for later records. This paper shows that such shared-completion batching can distort relationships among variables in the resulting synthetic data, using controlled tests on synthetic survey respondents. In a matched experiment on 2,000 European Social Survey profiles, generating ten rather than one respondent per request increases mean absolute error in within-country correlations by 48-58% for Qwen3.8-27B and 114-127% for Llama-3.3-70B-Instruct across three seeds, holding profiles, examples, questions and decoding parameters fixed. The distortion primarily reflects exaggerated relationship strength, while retaining substantial agreement with the human ordering of correlations. Controlled interventions establish answer history as a causal channel: re-pairing the same preceding values, with profiles and marginal distributions fixed, changes correlations among subsequently generated responses. Hiding preceding answers reduces correlation error in the tested settings but worsens marginal accuracy. Exploratory corrections across social-attitude, health and economic data likewise show that lower correlation error can coexist with worse marginal distributions and regression estimates. Request construction is therefore part of the data-generating process, and synthetic-data validity must be evaluated against the analyses the generated data are intended to support.
• Abstract（参考訳）: 大規模言語モデルは1つの自己回帰補完内で複数のレコードを生成することができ、初期の回答は後のレコードのコンテキストとして利用できる。 本報告では, 合成データ中の変数間の関係を, 合成調査回答者の制御試験を用いて歪曲することができることを示す。 2,000人の欧州社会調査のプロフィールに一致した実験では、要求毎に1人ではなく10人を生成すると、Qwen3.8-27Bでは48～58%、Llama-3.3-70B-Instructでは114～127%の平均的な絶対誤差が3つの種にわたって増加し、プロファイル、例、質問、復号パラメータが固定された。 この歪みは、主に誇張された関係の強さを反映し、相関の人間の順序とはかなりの一致を維持している。 制御された介入は、応答履歴を因果チャネルとして確立する:同じ前の値を再度ペアリングし、プロファイルと辺縁分布を固定し、その後生成された応答間の相関を変化させる。 先行回答の保持は、テストされた設定における相関誤差を減少させるが、限界精度を低下させる。 社会的態度、健康、経済データにわたる探索的補正も同様に、相関の低い誤差は、より悪い限界分布と回帰推定と共存することを示している。 したがって、要求構築はデータ生成プロセスの一部であり、生成されたデータに対して合成データの有効性を評価する必要がある。

関連論文リスト

• Generating High-quality Privacy-preserving Synthetic Data [0.0]
  本稿では,このトレードオフを改善するために,任意の合成データ生成装置上に適用可能なモデル非依存のポストプロセッシングフレームワークについて検討する。 我々はこのフレームワークを、表データのための2つのニューラル生成モデル、フィードフォワードジェネレータ、変分オートエンコーダのためにインスタンス化する。 クレジットカード取引、心臓血管の健康、国勢調査に基づく収入の3つの公開データセットで評価した。
  論文  参考訳（メタデータ） (2026-02-06T05:03:49Z)
• Valid Inference with Imperfect Synthetic Data [39.10587411316875]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• Exploiting LLMs for Automatic Hypothesis Assessment via a Logit-Based Calibrated Prior [8.58640746528909]
  統計的な関係が多数あるので、どれが新しく、さらに探究する価値のあるものかを自動で評価できますか? 我々は,モデルの生の出力ロジットを,相関値上のキャリブレーションされた連続的な予測分布に変換する,ロジットに基づくキャリブレーション事前(Calibrated Prior)を提案する。 実世界の変数対2,096のベンチマークで事前評価を行い, 符号精度78.8%, 平均絶対誤差0.26, 95%信頼区間カバレッジ89.2%を達成した。
  論文  参考訳（メタデータ） (2025-06-03T22:54:59Z)
• A Reverse Causal Framework to Mitigate Spurious Correlations for Debiasing Scene Graph Generation [59.473751744275496]
  シーングラフ生成(SGG)フレームワークは通常、関係の特徴を抽出する検出器と、それらの関係を分類する分類器を備えている。 このような因果連鎖構造は、検出器の入力と最終的な予測の間に急激な相関をもたらす。 本稿では、因果連鎖構造を逆因果構造に再構築し、分類器の入力を共同創設者として扱うことを提案する。
  論文  参考訳（メタデータ） (2025-05-29T13:57:01Z)
• Deep Causal Generative Models with Property Control [11.604321459670315]
  我々は相関対応因果変分自動エンコーダ(C2VAE)と呼ばれる新しい深層生成フレームワークを提案する。 C2VAEは、非絡み付き潜在ベクトルを用いて特性間の相関関係と因果関係を同時に回復する。
  論文  参考訳（メタデータ） (2024-05-25T13:07:27Z)
• Linked shrinkage to improve estimation of interaction effects in regression models [0.0]
  回帰モデルにおける双方向相互作用項によく適応する推定器を開発する。 我々は,選択戦略では難しい推論モデルの可能性を評価する。 私たちのモデルは、かなり大きなサンプルサイズであっても、ランダムな森林のような、より高度な機械学習者に対して非常に競争力があります。
  論文  参考訳（メタデータ） (2023-09-25T10:03:39Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Strong identifiability and parameter learning in regression with heterogeneous response [5.503319042839695]
  本研究では, 有限混合回帰モデルにおける強い識別可能性, 条件密度およびパラメータ推定の収束率, およびベイズ後部収縮挙動について検討する。 本稿では,本論文で報告されているいくつかの一般的な回帰混合モデルに見られるパラメータ学習行動について,シミュレーション研究とデータ図解を提供する。
  論文  参考訳（メタデータ） (2022-12-08T05:58:13Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。