論文の概要: From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence

• arxiv url: http://arxiv.org/abs/2601.03220v1
• Date: Tue, 06 Jan 2026 18:04:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:13.051641
• Title: From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence
• Title（参考訳）: エントロピーからエピプレキシティへ:計算境界インテリジェンスのための情報再考
• Authors: Marc Finzi, Shikai Qiu, Yiding Jiang, Pavel Izmailov, J. Zico Kolter, Andrew Gordon Wilson,
• Abstract要約: エピプレキシティ(英: Epiplexity)とは、計算的に境界付けられた観測者がデータから学べるものを捉える情報の形式化である。 計算によってどのように情報を生成するか、データの順序にどのように依存するか、そしてモデリングがデータ生成プロセス自体よりも複雑なプログラムを生成する可能性を示す。
• 参考スコア（独自算出の注目度）: 91.54446789584826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can we learn more from data than existed in the generating process itself? Can new and useful information be constructed from merely applying deterministic transformations to existing data? Can the learnable content in data be evaluated without considering a downstream task? On these questions, Shannon information and Kolmogorov complexity come up nearly empty-handed, in part because they assume observers with unlimited computational capacity and fail to target the useful information content. In this work, we identify and exemplify three seeming paradoxes in information theory: (1) information cannot be increased by deterministic transformations; (2) information is independent of the order of data; (3) likelihood modeling is merely distribution matching. To shed light on the tension between these results and modern practice, and to quantify the value of data, we introduce epiplexity, a formalization of information capturing what computationally bounded observers can learn from data. Epiplexity captures the structural content in data while excluding time-bounded entropy, the random unpredictable content exemplified by pseudorandom number generators and chaotic dynamical systems. With these concepts, we demonstrate how information can be created with computation, how it depends on the ordering of the data, and how likelihood modeling can produce more complex programs than present in the data generating process itself. We also present practical procedures to estimate epiplexity which we show capture differences across data sources, track with downstream performance, and highlight dataset interventions that improve out-of-distribution generalization. In contrast to principles of model selection, epiplexity provides a theoretical foundation for data selection, guiding how to select, generate, or transform data for learning systems.
• Abstract（参考訳）: 生成プロセス自体に存在した以上のデータからもっと学べるだろうか? 既存のデータに決定論的変換を適用するだけで、新しい有用な情報を構築できるだろうか? ダウンストリームタスクを考慮せずに、データ内の学習可能なコンテンツを評価することができるか? これらの疑問に対して、シャノン情報とコルモゴロフ複雑性は、計算能力の無制限な観測者が有用な情報内容のターゲットにできないと仮定するため、ほぼ手ぶらで表される。 本研究では,情報理論における3つのパラドックスを識別し,例示する:(1)決定論的変換によって情報を増やすことはできない;(2)情報はデータの順序に依存しない;(3)確率モデリングは単なる分布マッチングである。 これらの結果と近代的な実践の緊張感を浮き彫りにし、データの価値を定量化するために、計算的に拘束された観測者がデータから学べる情報を取り出すための情報形式であるエピプレキシティを導入する。 エピプレキシティは、擬似乱数生成器とカオス力学系によって実証されたランダムな予測不可能な内容である時間境界エントロピーを除いたデータの構造的内容をキャプチャする。 これらの概念により、情報がどのように計算によって生成されるか、データの順序にどのように依存するか、そして、モデリングがデータ生成プロセス自体よりも複雑なプログラムを生成できるかを実証する。 また、データソース間の差異を捉え、下流のパフォーマンスをトラッキングし、分布外一般化を改善するデータセットの介入を強調して、エピプレキシティーを推定する実践的な手順も提示する。 モデル選択の原則とは対照的に、エピプレキシティはデータ選択の理論的基盤を提供し、学習システムのためのデータの選択、生成、変換の仕方を導く。

関連論文リスト

• How Patterns Dictate Learnability in Sequential Data [0.0]
  我々は,過去と未来の間の相互情報として定義された予測情報に基づく枠組みを導入する。 時間的パターンの存在や欠如は、シーケンシャルモデルの学習性を根本的に制限することを示します。
  論文  参考訳（メタデータ） (2025-10-12T18:31:39Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Modular machine learning-based elastoplasticity: generalization in the context of limited data [0.0]
  エラスト塑性の定式化のモジュラリティに頼って,データの変動量に対処できるハイブリッドフレームワークについて論じる。 発見された物質モデルは、よく補間できるだけでなく、トレーニングデータの領域外から熱力学的に一貫した方法で正確な外挿を可能にする。
  論文  参考訳（メタデータ） (2022-10-15T17:35:23Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• Iterative Rule Extension for Logic Analysis of Data: an MILP-based heuristic to derive interpretable binary classification from large datasets [0.6526824510982799]
  この研究は、最大10,000のサンプルとサンプル特性を持つデータからDNFのブールフレーズを抽象化するアルゴリズムIRELANDを提示する。 その結果、大規模なデータセットIRELANDは現在の最先端よりも優れており、現在のモデルがメモリを使い果たしたり、過剰なランタイムを必要とするデータセットのソリューションを見つけることができることがわかった。
  論文  参考訳（メタデータ） (2021-10-25T13:31:30Z)
• Disentangled Recurrent Wasserstein Autoencoder [17.769077848342334]
  Recurrent Wasserstein Autoencoder (R-WAE)はシーケンシャルデータの生成モデリングのための新しいフレームワークである。 R-WAEは入力シーケンスの表現を静的および動的因子に切り離す。 私達のモデルは無条件のビデオ生成およびdisentanglementの点では同じ設定の他のベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-01-19T07:43:25Z)
• Generative Low-bitwidth Data Free Quantization [44.613912463011545]
  本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。 生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。 提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
  論文  参考訳（メタデータ） (2020-03-07T16:38:34Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。