論文の概要: Information bottleneck theory of high-dimensional regression: relevancy, efficiency and optimality

• arxiv url: http://arxiv.org/abs/2208.03848v1
• Date: Mon, 8 Aug 2022 00:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:03:14.929717
• Title: Information bottleneck theory of high-dimensional regression: relevancy, efficiency and optimality
• Title（参考訳）: 高次元回帰の情報ボトルネック理論:関連性、効率、最適性
• Authors: Vudtiwat Ngampruetikorn, David J. Schwab
• Abstract要約: オーバーフィッティングは機械学習における中心的な課題であるが、多くの大きなニューラルネットワークは容易にトレーニング損失をゼロにする。 トレーニングデータのノイズを符号化する適合モデルのビットとして定義される残差情報による過度適合の定量化を行う。
• 参考スコア（独自算出の注目度）: 6.700873164609009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Avoiding overfitting is a central challenge in machine learning, yet many large neural networks readily achieve zero training loss. This puzzling contradiction necessitates new approaches to the study of overfitting. Here we quantify overfitting via residual information, defined as the bits in fitted models that encode noise in training data. Information efficient learning algorithms minimize residual information while maximizing the relevant bits, which are predictive of the unknown generative models. We solve this optimization to obtain the information content of optimal algorithms for a linear regression problem and compare it to that of randomized ridge regression. Our results demonstrate the fundamental tradeoff between residual and relevant information and characterize the relative information efficiency of randomized regression with respect to optimal algorithms. Finally, using results from random matrix theory, we reveal the information complexity of learning a linear map in high dimensions and unveil information-theoretic analogs of double and multiple descent phenomena.
• Abstract（参考訳）: 過剰フィッティングを避けることは機械学習の中心的な課題であるが、多くの大規模ニューラルネットワークは容易にトレーニング損失をゼロにする。 この矛盾は、オーバーフィッティングの研究に新しいアプローチを必要とする。 ここでは、トレーニングデータのノイズを符号化する適合モデルのビットとして定義される残差情報による過度適合の定量化を行う。 情報効率のよい学習アルゴリズムは、未知生成モデルの予測である関連ビットを最大化しながら残余情報を最小化する。 この最適化により,線形回帰問題に対する最適アルゴリズムの情報内容を取得し,無作為なリッジ回帰と比較する。 本研究では,残差情報と関連する情報との基本的なトレードオフを示し,最適アルゴリズムに対するランダム回帰の相対的情報効率を特徴付ける。 最後に、ランダム行列理論の結果を用いて、線形写像を高次元で学習する際の情報複雑性を明らかにし、二重および多重降下現象の情報理論的類似を明らかにする。

関連論文リスト

• Learning of networked spreading models from noisy and incomplete data [7.669018800404791]
  スケーラブルな動的メッセージパッシング技術に基づく普遍的な学習手法を提案する。 このアルゴリズムは、モデルとデータに関する利用可能な事前知識を活用し、拡散モデルのネットワーク構造とパラメータの両方を再構成する。 キーモデルパラメータを持つ手法の線形計算複雑性は,アルゴリズムを大規模ネットワークインスタンスにスケーラブルにすることを示す。
  論文  参考訳（メタデータ） (2023-12-20T13:12:47Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
  現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。 一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。 また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
  論文  参考訳（メタデータ） (2023-06-19T19:57:33Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。