論文の概要: A Compression Perspective on Simplicity Bias

• arxiv url: http://arxiv.org/abs/2603.25839v1
• Date: Thu, 26 Mar 2026 19:02:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.242419
• Title: A Compression Perspective on Simplicity Bias
• Title（参考訳）: 単純性バイアスに関する圧縮的視点
• Authors: Tom Marty, Eric Elmoznino, Leo Gagnon, Tejas Kasetty, Mizu Nishikawa-Toomey, Sarthak Mittal, Guillaume Lajoie, Dhanya Sridhar,
• Abstract要約: ニューラルネットワークにおける特徴選択において、単純さのバイアスがどのように支配するかを示す。 データの増大は、自明なショートカットを除外することによって堅牢性を促進する。 我々は、ニューラルネットワークの特徴選択が最適2部圧縮と同じ解の軌跡に従うことを示す半合成ベンチマークで、我々の理論を検証した。
• 参考スコア（独自算出の注目度）: 20.205677906026924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks exhibit a simplicity bias, a well-documented tendency to favor simple functions over complex ones. In this work, we cast new light on this phenomenon through the lens of the Minimum Description Length principle, formalizing supervised learning as a problem of optimal two-part lossless compression. Our theory explains how simplicity bias governs feature selection in neural networks through a fundamental trade-off between model complexity (the cost of describing the hypothesis) and predictive power (the cost of describing the data). Our framework predicts that as the amount of available training data increases, learners transition through qualitatively different features -- from simple spurious shortcuts to complex features -- only when the reduction in data encoding cost justifies the increased model complexity. Consequently, we identify distinct data regimes where increasing data promotes robustness by ruling out trivial shortcuts, and conversely, regimes where limiting data can act as a form of complexity-based regularization, preventing the learning of unreliable complex environmental cues. We validate our theory on a semi-synthetic benchmark showing that the feature selection of neural networks follows the same trajectory of solutions as optimal two-part compressors.
• Abstract（参考訳）: ディープニューラルネットワークは単純さに偏りがあり、複雑なものよりも単純な関数を好む傾向がよく文書化されている。 本研究では,この現象を最小記述長原理のレンズを通して新しい光で表現し,教師あり学習を最適2部分ロスレス圧縮の問題として定式化する。 我々の理論は、モデル複雑性(仮説を記述するコスト)と予測力(データを記述するコスト)の基本的なトレードオフを通じて、ニューラルネットワークにおける特徴選択をどのように管理するかを説明する。 我々のフレームワークは、利用可能なトレーニングデータの量が増加するにつれて、学習者は、データエンコーディングコストの削減がモデル複雑さの増大を正当化する場合のみ、質的に異なる機能、つまり単純なショートカットから複雑な機能へと移行する、と予測する。 その結果、データの増加が、自明なショートカットを除外することによって堅牢性を促進し、逆に、データ制限が複雑性に基づく正規化の一形態として機能し、信頼性の低い複雑な環境条件の学習を防止する。 我々は、ニューラルネットワークの特徴選択が最適2部圧縮機と同じ解の軌跡に従うことを示す半合成ベンチマークで、我々の理論を検証した。

関連論文リスト

• Explainable Neural Networks with Guarantees: A Sparse Estimation Approach [11.142723510517778]
  本稿では,予測性と説明可能性に調和した説明可能なニューラルネットワークを構築するための新しいアプローチを提案する。 我々のモデルはSparXnetと呼ばれ、共同学習された特徴のスパースセットの線形結合として設計されている。 我々の研究は、スパースニューラルネットワークと説明可能なニューラルネットワークのさらなる研究の道を開く。
  論文  参考訳（メタデータ） (2025-01-02T12:10:17Z)
• Hierarchical Simplicity Bias of Neural Networks [0.0]
  非平衡ラベル結合と呼ばれる新しい手法を導入し、この単純さのバイアスを階層的なレベルにわたって探索し、拡張する。 提案手法は,トレーニングセット内のラベルとの相関に基づいて,複雑性を増大させる特徴を逐次考慮していることを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:27:03Z)
• Overcoming Simplicity Bias in Deep Networks using a Feature Sieve [5.33024001730262]
  本稿では,深層ネットワークにおける単純さバイアスに対処するための直接的,介入的手法を提案する。 ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目的としている。 実世界のデバイアスのベンチマークでは,かなりの増加が報告されている。
  論文  参考訳（メタデータ） (2023-01-30T21:11:13Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。