論文の概要: Generalization Bounds via Meta-Learned Model Representations: PAC-Bayes and Sample Compression Hypernetworks

• arxiv url: http://arxiv.org/abs/2410.13577v2
• Date: Fri, 21 Feb 2025 14:23:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 23:09:23.578126
• Title: Generalization Bounds via Meta-Learned Model Representations: PAC-Bayes and Sample Compression Hypernetworks
• Title（参考訳）: メタラーニングモデル表現による一般化境界:PAC-Bayesとサンプル圧縮ハイパーネット
• Authors: Benjamin Leblanc, Mathieu Bazinet, Nathaniel D'Amours, Alexandre Drouin, Pascal Germain,
• Abstract要約: PAC-Bayesian と Sample Compress の学習フレームワークをメタ学習方式で使用する。 このアプローチの独創性は、パラメータを復号する前にデータセットをエンコードする調査されたハイパーネットワークアーキテクチャにあります。 後者の定理は、エンコーダ・デコーダ・ジャンクションで流れる重要な情報を利用して、各下流予測器の一般化保証を計算する。
• 参考スコア（独自算出の注目度）: 47.83977297248753
• License:
• Abstract: PAC-Bayesian and Sample Compress learning frameworks are instrumental for deriving tight (non-vacuous) generalization bounds for neural networks. We leverage these results in a meta-learning scheme, relying on a hypernetwork that outputs the parameters of a downstream predictor from a dataset input. The originality of our approach lies in the investigated hypernetwork architectures that encode the dataset before decoding the parameters: (1) a PAC-Bayesian encoder that expresses a posterior distribution over a latent space, (2) a Sample Compress encoder that selects a small sample of the dataset input along with a message from a discrete set, and (3) a hybrid between both approaches motivated by a new Sample Compress theorem handling continuous messages. The latter theorem exploits the pivotal information transiting at the encoder-decoder junction to compute generalization guarantees for each downstream predictor obtained by our meta-learning scheme.
• Abstract（参考訳）: PAC-Bayesian と Sample Compress の学習フレームワークは、ニューラルネットワークの厳密な(非空の)一般化境界を導出するための道具である。 我々は、データセット入力から下流予測器のパラメータを出力するハイパーネットワークに頼って、これらの結果をメタラーニング方式で活用する。 1)潜在空間上の後続分布を表現するPAC-Bayesianエンコーダ,(2)離散集合からのメッセージとともに入力されたデータセットの小さなサンプルを選択するサンプル圧縮エンコーダ,(3)連続メッセージを扱う新しいサンプル圧縮定理によって動機付けられた両方のアプローチ間のハイブリッドである。 後者の定理は、エンコーダ・デコーダ・ジャンクションで通過する重要な情報を利用して、メタラーニング方式により得られた下流予測器毎の一般化保証を計算する。

関連論文リスト

• Sample Compression Unleashed: New Generalization Bounds for Real Valued Losses [9.180445799821717]
  実数値未有界損失を抑える新しいサンプル圧縮境界を導出するための一般的な枠組みを提案する。 ランダムな森林や複数種類のニューラルネットワークで評価することで,境界の厳密さと汎用性を実証的に実証する。
  論文  参考訳（メタデータ） (2024-09-26T15:08:52Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Regularization-Agnostic Compressed Sensing MRI Reconstruction with Hypernetworks [21.349071909858218]
  正規化重みの関数として分離された再構成ネットワークのパラメータを生成するためにハイパーネットワークを利用する新しい戦略を提案する。 実験時, アンダーサンプル画像の場合, 我々のモデルは, 異なる量の正規化で高速に再構成を計算できる。 特に全体的な品質が類似した状況において,これらの復元の変動性を分析する。
  論文  参考訳（メタデータ） (2021-01-06T18:55:37Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。