論文の概要: Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2608.11746v1
• Date: Wed, 12 Aug 2026 07:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.491225
• Title: Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization
• Title（参考訳）: 分布外一般化のためのエピプレキシティガイドデータの選択と生成
• Abstract要約: データ選択と合成データ生成のためのオンライントレーニング信号としてエピプレキシティを運用する。 データ選択と合成データ生成のためのオンライントレーニング信号としてエピプレキシティを運用する方法を示す。
• 参考スコア（独自算出の注目度）: 44.34558310053986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern systems are increasingly expected to transfer across tasks not specified during training. What data facilitates generalization in these new, unanticipated settings? One hypothesis is that data with more structural information could contain shared circuits and subprograms that could be recycled in a wider array of downstream settings. Epiplexity, a recently proposed measure of the structural information a compute-bounded learner can extract from data, provides a mechanism to reason about this relationship. In this paper, we show how to operationalize epiplexity as an online training signal for data selection and synthetic data generation. For selection, we fit scaling laws to the training loss curves of natural data domains to predict the expected epiplexity gain as a function of training tokens, and use this signal to adaptively determine the sampling weights over domains during training. For synthetic data generation, we define a generator's reward as the change in learner epiplexity over a buffer of previously generated data and use REINFORCE policy gradients to guide the generator toward an epiplexity-maximizing distribution. In both cases, higher epiplexity predicts improved downstream performance on zero-shot and fine-tuning based tasks, supporting the hypothesis that data rich in structural information yield representations that transfer across domains.
• Abstract（参考訳）: 現代のシステムは、トレーニング中に特定されていないタスク間で転送されることがますます期待されている。 新しい予想外の設定で、どのようなデータが一般化を促進するのか? 1つの仮説は、より構造的な情報を持つデータには、より広い下流の設定で再利用できる共有回路やサブプログラムが含まれる可能性があるというものである。 最近提案された、計算境界学習者がデータから抽出できる構造情報の尺度であるエピプレキシティは、この関係を推論するメカニズムを提供する。 本稿では,データ選択と合成データ生成のためのオンライントレーニング信号として,エピプレキシティの運用方法を示す。 選択のために、自然データ領域のトレーニング損失曲線にスケーリング法則を適合させて、トレーニングトークンの関数として期待されるエピプレキシティゲインを予測し、この信号を用いてトレーニング中のドメインに対するサンプリング重み付けを適応的に決定する。 合成データ生成では,生成元の報酬を,以前に生成したデータのバッファ上での学習者のエピプレキシティの変化として定義し,REINFORCEポリシー勾配を用いて生成元のエピプレキシティ最大化分布への誘導を行う。 どちらの場合も、高いエピプレキシティはゼロショットおよび微調整に基づくタスクのダウンストリーム性能の向上を予測し、構造情報に富んだデータがドメイン間で転送される表現を生成するという仮説を支持する。

関連論文リスト

• Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing [20.181398321709636]
  限られたデータから一般化することを学ぶことは、人工システムと生物学的システムの両方にとって根本的な課題である。 本稿では, 構造抽出を主成分分析として定式化するプロセスの解析モデルを提案する。 我々は,表現の次元性,ラベル付きサンプルサイズ,タスクアライメントへの依存性を示す訓練および一般化誤差の正確な表現を導出する。
  論文  参考訳（メタデータ） (2026-05-19T16:56:56Z)
• From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence [91.54446789584826]
  エピプレキシティ(英: Epiplexity)とは、計算的に境界付けられた観測者がデータから学べるものを捉える情報の形式化である。 計算によってどのように情報を生成するか、データの順序にどのように依存するか、そしてモデリングがデータ生成プロセス自体よりも複雑なプログラムを生成する可能性を示す。
  論文  参考訳（メタデータ） (2026-01-06T18:04:03Z)
• Perplexity-Aware Data Scaling Law: Perplexity Landscapes Predict Performance for Continual Pre-training [46.54209378000497]
  事前トレーニングのスケーリング法則は、データセットのサイズとLLMのテスト損失との間には、ゆるい関係がある。 本稿では,ドメイン固有データの難易度景観とテスト損失との予測的関係を確立するために,新しいパープレキシティ対応データスケーリング法を提案する。 本手法は, ほぼ最適トレーニングサブセットを一貫して同定し, 医用および一般のベンチマークにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2025-12-25T05:40:46Z)
• RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment [10.284993431741377]
  サンプル間の関係に基づいてサンプル冗長性を定量化する,エプシロン・サンプル被覆の概念を導入する。 我々は、強化学習プロセスとしてデータ選択を再構成し、RLセレクタを提案する。 我々の手法は、既存の最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-06-26T06:28:56Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Generative Expansion of Small Datasets: An Expansive Graph Approach [13.053285552524052]
  最小限のサンプルから大規模で情報豊富なデータセットを生成する拡張合成モデルを提案する。 自己アテンション層と最適なトランスポートを持つオートエンコーダは、分散一貫性を洗練させる。 結果は同等のパフォーマンスを示し、モデルがトレーニングデータを効果的に増強する可能性を示している。
  論文  参考訳（メタデータ） (2024-06-25T02:59:02Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• AdaptCL: Adaptive Continual Learning for Tackling Heterogeneity in Sequential Datasets [13.065880037738108]
  AdaptCLは、異種データセットに取り組むための新しい適応型連続学習手法である。 データ複雑性とデータセットサイズの変化に対応するために、きめ細かいデータ駆動プルーニングを採用している。 また、タスクに依存しないパラメータ分離を利用して、破滅的な忘れ方の影響を緩和する。
  論文  参考訳（メタデータ） (2022-07-22T10:48:06Z)
• Compressed Predictive Information Coding [6.220929746808418]
  我々は,動的データから有用な表現を抽出する新しい情報理論フレームワーク,Compressed Predictive Information Coding (CPIC) を開発した。 我々はCPIC損失の変動境界を導出し、最大予測可能な情報を取得するために潜時空間を誘導する。 我々はCPICが低信号対雑音比で雑音力学系の潜時空間を復元できることを実証した。
  論文  参考訳（メタデータ） (2022-03-03T22:47:58Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。