論文の概要: Sample Compression Hypernetworks: From Generalization Bounds to Meta-Learning

• arxiv url: http://arxiv.org/abs/2410.13577v1
• Date: Thu, 17 Oct 2024 14:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:55.628297
• Title: Sample Compression Hypernetworks: From Generalization Bounds to Meta-Learning
• Title（参考訳）: サンプル圧縮ハイパーネット:一般化境界からメタラーニングへ
• Authors: Benjamin Leblanc, Mathieu Bazinet, Nathaniel D'Amours, Alexandre Drouin, Pascal Germain,
• Abstract要約: 再構成関数はサンプル圧縮理論において重要である。 実値メッセージに対する新しいサンプル圧縮一般化法を導出する。 我々は,厳密な一般化保証付き予測器を出力する新しいハイパーネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 47.83977297248753
• License:
• Abstract: Reconstruction functions are pivotal in sample compression theory, a framework for deriving tight generalization bounds. From a small sample of the training set (the compression set) and an optional stream of information (the message), they recover a predictor previously learned from the whole training set. While usually fixed, we propose to learn reconstruction functions. To facilitate the optimization and increase the expressiveness of the message, we derive a new sample compression generalization bound for real-valued messages. From this theoretical analysis, we then present a new hypernetwork architecture that outputs predictors with tight generalization guarantees when trained using an original meta-learning framework. The results of promising preliminary experiments are then reported.
• Abstract（参考訳）: レコンストラクション関数は、厳密な一般化境界を導出する枠組みであるサンプル圧縮理論において重要である。 トレーニングセット(圧縮セット)とオプションの情報ストリーム(メッセージ)の小さなサンプルから、トレーニングセット全体から以前に学んだ予測器を復元する。 通常は修正されるが、再建関数を学習することを提案する。 メッセージの表現性を向上し、最適化を容易にするため、実数値メッセージに束縛された新しいサンプル圧縮一般化を導出する。 この理論解析から,従来のメタラーニングフレームワークを用いてトレーニングした場合に,厳密な一般化保証付き予測器を出力する新しいハイパーネットワークアーキテクチャを提案する。 その後、有望な予備実験の結果が報告される。

関連論文リスト

• Sample Compression Unleashed: New Generalization Bounds for Real Valued Losses [9.180445799821717]
  実数値未有界損失を抑える新しいサンプル圧縮境界を導出するための一般的な枠組みを提案する。 ランダムな森林や複数種類のニューラルネットワークで評価することで,境界の厳密さと汎用性を実証的に実証する。
  論文  参考訳（メタデータ） (2024-09-26T15:08:52Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Regularization-Agnostic Compressed Sensing MRI Reconstruction with Hypernetworks [21.349071909858218]
  正規化重みの関数として分離された再構成ネットワークのパラメータを生成するためにハイパーネットワークを利用する新しい戦略を提案する。 実験時, アンダーサンプル画像の場合, 我々のモデルは, 異なる量の正規化で高速に再構成を計算できる。 特に全体的な品質が類似した状況において,これらの復元の変動性を分析する。
  論文  参考訳（メタデータ） (2021-01-06T18:55:37Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。