論文の概要: A Compression Perspective on Simplicity Bias

• arxiv url: http://arxiv.org/abs/2603.25839v1
• Date: Thu, 26 Mar 2026 19:02:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.242419
• Title: A Compression Perspective on Simplicity Bias
• Title（参考訳）: 単純性バイアスに関する圧縮的視点
• Abstract要約: ニューラルネットワークにおける特徴選択において、単純さのバイアスがどのように支配するかを示す。 データの増大は、自明なショートカットを除外することによって堅牢性を促進する。 我々は、ニューラルネットワークの特徴選択が最適2部圧縮と同じ解の軌跡に従うことを示す半合成ベンチマークで、我々の理論を検証した。
• 参考スコア（独自算出の注目度）: 20.205677906026924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks exhibit a simplicity bias, a well-documented tendency to favor simple functions over complex ones. In this work, we cast new light on this phenomenon through the lens of the Minimum Description Length principle, formalizing supervised learning as a problem of optimal two-part lossless compression. Our theory explains how simplicity bias governs feature selection in neural networks through a fundamental trade-off between model complexity (the cost of describing the hypothesis) and predictive power (the cost of describing the data). Our framework predicts that as the amount of available training data increases, learners transition through qualitatively different features -- from simple spurious shortcuts to complex features -- only when the reduction in data encoding cost justifies the increased model complexity. Consequently, we identify distinct data regimes where increasing data promotes robustness by ruling out trivial shortcuts, and conversely, regimes where limiting data can act as a form of complexity-based regularization, preventing the learning of unreliable complex environmental cues. We validate our theory on a semi-synthetic benchmark showing that the feature selection of neural networks follows the same trajectory of solutions as optimal two-part compressors.
• Abstract（参考訳）: ディープニューラルネットワークは単純さに偏りがあり、複雑なものよりも単純な関数を好む傾向がよく文書化されている。 本研究では,この現象を最小記述長原理のレンズを通して新しい光で表現し,教師あり学習を最適2部分ロスレス圧縮の問題として定式化する。 我々の理論は、モデル複雑性(仮説を記述するコスト)と予測力(データを記述するコスト)の基本的なトレードオフを通じて、ニューラルネットワークにおける特徴選択をどのように管理するかを説明する。 我々のフレームワークは、利用可能なトレーニングデータの量が増加するにつれて、学習者は、データエンコーディングコストの削減がモデル複雑さの増大を正当化する場合のみ、質的に異なる機能、つまり単純なショートカットから複雑な機能へと移行する、と予測する。 その結果、データの増加が、自明なショートカットを除外することによって堅牢性を促進し、逆に、データ制限が複雑性に基づく正規化の一形態として機能し、信頼性の低い複雑な環境条件の学習を防止する。 我々は、ニューラルネットワークの特徴選択が最適2部圧縮機と同じ解の軌跡に従うことを示す半合成ベンチマークで、我々の理論を検証した。

関連論文リスト

• Feature learning from non-Gaussian inputs: the case of Independent Component Analysis in high dimensions [7.2136602534376015]
  我々は、最も人気のあるICAアルゴリズムであるFastICAと勾配降下(SGD)のための特徴学習におけるデータ構造間の相互作用について検討する。 我々は、バニラオンラインSGDがFastICAより優れており、損失を平滑にすることで最適なサンプルの複雑さが$ngtrsim d2$に達することを証明している。
  論文  参考訳（メタデータ） (2025-03-31T09:46:47Z)
• Explainable Neural Networks with Guarantees: A Sparse Estimation Approach [11.142723510517778]
  本稿では,予測性と説明可能性に調和した説明可能なニューラルネットワークを構築するための新しいアプローチを提案する。 我々のモデルはSparXnetと呼ばれ、共同学習された特徴のスパースセットの線形結合として設計されている。 我々の研究は、スパースニューラルネットワークと説明可能なニューラルネットワークのさらなる研究の道を開く。
  論文  参考訳（メタデータ） (2025-01-02T12:10:17Z)
• Hierarchical Simplicity Bias of Neural Networks [0.0]
  非平衡ラベル結合と呼ばれる新しい手法を導入し、この単純さのバイアスを階層的なレベルにわたって探索し、拡張する。 提案手法は,トレーニングセット内のラベルとの相関に基づいて,複雑性を増大させる特徴を逐次考慮していることを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:27:03Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Overcoming Simplicity Bias in Deep Networks using a Feature Sieve [5.33024001730262]
  本稿では,深層ネットワークにおける単純さバイアスに対処するための直接的,介入的手法を提案する。 ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目的としている。 実世界のデバイアスのベンチマークでは,かなりの増加が報告されている。
  論文  参考訳（メタデータ） (2023-01-30T21:11:13Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
  合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。 合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。 我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
  論文  参考訳（メタデータ） (2021-08-25T02:29:28Z)
• Parsimonious Inference [0.0]
  parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
  論文  参考訳（メタデータ） (2021-03-03T04:13:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。