論文の概要: An Information-Theoretic Criterion for Efficient Data Synthesis

• arxiv url: http://arxiv.org/abs/2605.16379v1
• Date: Mon, 11 May 2026 01:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.307209
• Title: An Information-Theoretic Criterion for Efficient Data Synthesis
• Title（参考訳）: 効率的なデータ合成のための情報理論規準
• Authors: Hanyu Li, Zhengqi Sun, Xiaotie Deng,
• Abstract要約: 合成データは大規模言語モデルの訓練には不可欠であるが、その有効性は非常に矛盾している。 我々はこの矛盾を情報理論で説明する。
• 参考スコア（独自算出の注目度）: 11.130200422847162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data becomes crucial for large language model training, but its effectiveness is highly inconsistent. We provide an information-theoretic account of this inconsistency: synthetic data improves a model only when the generation-training loop is information-open, i.e., shaped by external signals (verifiers, environments, or rubrics) that inject task-relevant information beyond the model's current distribution. When the loop is information-closed (relying on the model's own outputs without such signals), the data processing inequality ensures that task-relevant information can only decrease, making collapse a predicted outcome. Among information-open pipelines, both efficiency and generalization hinge on the meta-level of supervision: a coarser signal such as binary correctness treats all acceptable outputs as equivalent, so the behavior it teaches is not tied to any particular domain or surface form and generalizes naturally across tasks and domains. These observations lead to a guiding thesis: learning preferentially converges to the most information-efficient signal component available, which accelerates learning when that component is the intended one, but causes reward hacking when a spurious pattern happens to be simpler.
• Abstract（参考訳）: 合成データは大規模言語モデルトレーニングにおいて重要であるが、その有効性は非常に矛盾している。 合成データは、生成学習ループが情報オープンである場合にのみモデルを改善する、すなわち、モデルの現在の分布を超えてタスク関連情報を注入する外部信号(検証器、環境、ルーブリック)によって形成される。 ループが情報閉ざされた場合(そのような信号のないモデル自身の出力に基づいて)、データ処理の不等式は、タスク関連情報が減少することのみを保証し、予測結果が崩壊する。 バイナリ正当性のような粗い信号は、全ての許容される出力を等価として扱うため、それが教える振る舞いは特定のドメインや表面形式に縛られず、タスクやドメインにわたって自然に一般化される。 学習は、利用可能な最も情報効率のよい信号コンポーネントに優先的に収束し、そのコンポーネントが意図したコンポーネントであるときに学習を加速するが、スプリアスパターンが単純な場合、報奨ハッキングを引き起こす。

関連論文リスト

• From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence [91.54446789584826]
  エピプレキシティ(英: Epiplexity)とは、計算的に境界付けられた観測者がデータから学べるものを捉える情報の形式化である。 計算によってどのように情報を生成するか、データの順序にどのように依存するか、そしてモデリングがデータ生成プロセス自体よりも複雑なプログラムを生成する可能性を示す。
  論文  参考訳（メタデータ） (2026-01-06T18:04:03Z)
• A Differentiable Adversarial Framework for Task-Aware Data Subsampling [0.5371337604556311]
  本稿では,データ削減を識別可能なエンドツーエンド学習問題に再構成する新しいパラダイムとして,ASSS(Antagonistic soft selection subsampling)フレームワークを紹介する。 この研究は、学習可能なコンポーネントとしてタスク認識データサブサンプリングを確立し、大規模なデータ学習を効果的に行うための原則的なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-01-05T13:10:09Z)
• Data coarse graining can improve model performance [7.325551965751601]
  データの粗粒化」下における高次元リッジ正規化線形回帰の可解モデルを用いたパラドックスの研究 統計物理学における正規化群に着想を得て,学習課題との関連性に基づいて,特徴を体系的に捨てる粗粒化スキームを解析した。 この結果は,データの構造によって形成される複雑で非単調なリスクランドスケープに注目し,統計物理学からのアイデアが,現代の機械学習現象を理解するための原理化されたレンズをいかに提供するかを説明する。
  論文  参考訳（メタデータ） (2025-09-18T00:17:01Z)
• Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Generating World [19.266191284270793]
  生成機械学習モデルは、以前のモデルによって生成されたデータを含むWebスケールデータセットで事前訓練される。 先行研究の中には、ウェブが合成データに圧倒されているため、"モデル崩壊"を警告するものもある。 本稿では,3つの生成モデルタスクセットにまたがるデータ(トレーニング・ワークフロー)の3つの使い方について実験を行った。
  論文  参考訳（メタデータ） (2024-10-22T05:49:24Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
  実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。 要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。 我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
  論文  参考訳（メタデータ） (2021-04-09T11:20:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。