論文の概要: Quantifying and Optimizing Simplicity via Polynomial Representations
- arxiv url: http://arxiv.org/abs/2605.29823v1
- Date: Thu, 28 May 2026 12:05:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.220267
- Title: Quantifying and Optimizing Simplicity via Polynomial Representations
- Title（参考訳）: 多項式表現による単純さの定量化と最適化
- Authors: Tianren Zhang, Xiangxin Li, Minghao Xiao, Guanyu Chen, Feng Chen,
- Abstract要約: ディープ・ネットワークはしばしば「単純」な解を好むが、そのような単純さのバイアスは一般化において重要な役割を担っていると広く信じられている。
ニューラルファンクションのための分布認識型低次元サロゲートとして、Elusiveaware表現を導入する。
この表現の有効度は、予測的一般化であり、既存のプロキシを一貫して上回る実用的単純度として機能することを示す。
- 参考スコア（独自算出の注目度）: 7.179416347367497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep networks often exhibit a preference for "simple" solutions, and such a simplicity bias is widely believed to play a key role in generalization. Yet a broadly applicable, quantitative measure of simplicity remains elusive. We introduce polynomial representations as a distribution-aware, low-dimensional surrogate for neural functions: we approximate a network's predictive behavior along data-dependent interpolation paths using orthogonal polynomial bases, yielding a compact functional representation. We show that the effective degree of this representation serves as a practical simplicity metric that is predictive of generalization across tasks and architectures, and consistently outperforms existing generalization proxies such as sharpness. Finally, polynomial representations naturally yield a differentiable simplicity regularizer, which consistently improves generalization in image and text classification, fine-tuning contrastive vision-language models, and reinforcement learning.
- Abstract（参考訳）: ディープ・ネットワークは「単純」な解を好むことが多く、そのような単純さのバイアスは一般化において重要な役割を担っていると広く信じられている。
しかし、広範に適用可能な、定量的なシンプルさの尺度は、いまだ解明されていない。
我々は、直交多項式基底を用いて、データ依存補間経路に沿ってネットワークの予測挙動を近似し、コンパクトな関数表現を得る。
この表現の有効度は、タスクやアーキテクチャ全体にわたる一般化を予測する実用的な単純度として機能し、シャープネスなどの既存の一般化プロキシを一貫して上回っていることを示す。
最後に、多項式表現は自然に、画像とテキストの分類、微調整されたコントラスト型視覚言語モデル、強化学習における一般化を一貫して改善する、微分可能単純正規化器を生成する。
関連論文リスト
- Pointwise Generalization in Deep Neural Networks [24.565019622696664]
深層ネットワークのトラクタビリティを説明する構造特性と数学的原理を同定する。
深層ネットワークは数学的に計算可能であり,その一般化はポイントワイズ,特徴スペクトル認識複雑性によって明確に説明できることを示す。
論文 参考訳（メタデータ） (2026-05-18T16:09:06Z) - On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks [56.98385132295952]
簡単な計画課題において,チェーン・オブ・ソート・アプローチがいかに一般化するかを評価する。
複数のテキスト形式を組み合わせた推論トレースが、最高の(かつ非自明な)OOD一般化をもたらすことが分かりました。
純粋にテキストベースのモデルは、画像ベースの入力を利用するモデルよりも一貫して優れています。
論文 参考訳（メタデータ） (2026-02-17T09:51:40Z) - Principled Out-of-Distribution Generalization via Simplicity [16.17883058788714]
画像生成における拡散モデルの合成一般化能力について検討する。
我々は,事前定義された簡易度を用いて定量化した簡易度によるOOD一般化の理論的枠組みを開発する。
我々は、真の、一般化可能な、単純なモデルを学ぶための、最初の鋭いサンプル複雑性を保証する。
論文 参考訳（メタデータ） (2025-05-28T17:44:10Z) - Enhancing Multimodal Unified Representations for Cross Modal Generalization [52.16653133604068]
我々は、コードブック(TOC)のトレーニング不要最適化と、FCID(Fin and Coarse Cross-modal Information Disentangling)を提案する。
これらの方法は、各モードの特定の特性に合わせて、事前学習から統一された離散表現を洗練し、きめ細かな情報と粗い情報の絡み合わせを行う。
論文 参考訳（メタデータ） (2024-03-08T09:16:47Z) - Mitigating Simplicity Bias in Deep Learning for Improved OOD
Generalization and Robustness [5.976013616522926]
モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。
まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。
様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2023-10-09T21:19:39Z) - Real-World Compositional Generalization with Disentangled
Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。
このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。
具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文 参考訳（メタデータ） (2022-12-12T15:40:30Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Generalization in Multimodal Language Learning from Simulation [20.751952728808153]
教師付き時間連続設定で学習した最小限のLSTMネットワークにおいて、基礎となるトレーニングデータ分布が一般化に与える影響について検討する。
構成的一般化は、単純な設定で失敗すると同時に、オブジェクトの数、アクション、特にオブジェクト間の多くの色重なりで改善する。
論文 参考訳（メタデータ） (2021-08-03T12:55:18Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳（メタデータ） (2021-03-05T04:42:32Z) - Convex Representation Learning for Generalized Invariance in
Semi-Inner-Product Space [32.442549424823355]
本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。
これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
論文 参考訳（メタデータ） (2020-04-25T18:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。