論文の概要: Generalization Bounds via Meta-Learned Model Representations: PAC-Bayes and Sample Compression Hypernetworks

• arxiv url: http://arxiv.org/abs/2410.13577v2
• Date: Fri, 21 Feb 2025 14:23:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 23:44:09.930314
• Title: Generalization Bounds via Meta-Learned Model Representations: PAC-Bayes and Sample Compression Hypernetworks
• Title（参考訳）: メタラーニングモデル表現による一般化境界:PAC-Bayesとサンプル圧縮ハイパーネット
• Authors: Benjamin Leblanc, Mathieu Bazinet, Nathaniel D'Amours, Alexandre Drouin, Pascal Germain,
• Abstract要約: PAC-Bayesian と Sample Compress の学習フレームワークをメタ学習方式で使用する。 このアプローチの独創性は、パラメータを復号する前にデータセットをエンコードする調査されたハイパーネットワークアーキテクチャにあります。 後者の定理は、エンコーダ・デコーダ・ジャンクションで流れる重要な情報を利用して、各下流予測器の一般化保証を計算する。
• 参考スコア（独自算出の注目度）: 47.83977297248753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: PAC-Bayesian and Sample Compress learning frameworks are instrumental for deriving tight (non-vacuous) generalization bounds for neural networks. We leverage these results in a meta-learning scheme, relying on a hypernetwork that outputs the parameters of a downstream predictor from a dataset input. The originality of our approach lies in the investigated hypernetwork architectures that encode the dataset before decoding the parameters: (1) a PAC-Bayesian encoder that expresses a posterior distribution over a latent space, (2) a Sample Compress encoder that selects a small sample of the dataset input along with a message from a discrete set, and (3) a hybrid between both approaches motivated by a new Sample Compress theorem handling continuous messages. The latter theorem exploits the pivotal information transiting at the encoder-decoder junction to compute generalization guarantees for each downstream predictor obtained by our meta-learning scheme.
• Abstract（参考訳）: PAC-Bayesian と Sample Compress の学習フレームワークは、ニューラルネットワークの厳密な(非空の)一般化境界を導出するための道具である。 我々は、データセット入力から下流予測器のパラメータを出力するハイパーネットワークに頼って、これらの結果をメタラーニング方式で活用する。 1)潜在空間上の後続分布を表現するPAC-Bayesianエンコーダ,(2)離散集合からのメッセージとともに入力されたデータセットの小さなサンプルを選択するサンプル圧縮エンコーダ,(3)連続メッセージを扱う新しいサンプル圧縮定理によって動機付けられた両方のアプローチ間のハイブリッドである。 後者の定理は、エンコーダ・デコーダ・ジャンクションで通過する重要な情報を利用して、メタラーニング方式により得られた下流予測器毎の一般化保証を計算する。

関連論文リスト

• Autoencoded UMAP-Enhanced Clustering for Unsupervised Learning [49.1574468325115]
  本稿では,低次元空間にデータを非線形に埋め込み,次に従来のクラスタリングアルゴリズムを用いて非教師なし学習を行う手法を提案する。 この埋め込みはデータのクラスタビリティを促進し、オートエンコーダニューラルネットワークのエンコーダとUMAPアルゴリズムの出力の2つのマッピングで構成されている。 MNISTデータに適用した場合、AUECはクラスタリング精度において最先端技術よりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-01-13T22:30:38Z)
• Sample Compression Unleashed: New Generalization Bounds for Real Valued Losses [9.180445799821717]
  実数値未有界損失を抑える新しいサンプル圧縮境界を導出するための一般的な枠組みを提案する。 ランダムな森林や複数種類のニューラルネットワークで評価することで,境界の厳密さと汎用性を実証的に実証する。
  論文  参考訳（メタデータ） (2024-09-26T15:08:52Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension [13.191437539419681]
  適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
  論文  参考訳（メタデータ） (2022-08-18T10:14:32Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• BOSS: Bidirectional One-Shot Synthesis of Adversarial Examples [8.359029046999233]
  本稿では,逆数例のワンショット合成を提案する。 入力はスクラッチから合成され、事前訓練されたモデルの出力で任意のソフト予測を誘導する。 本稿では,本フレームワークの汎用性と汎用性を示す。
  論文  参考訳（メタデータ） (2021-08-05T17:43:36Z)
• Regularization-Agnostic Compressed Sensing MRI Reconstruction with Hypernetworks [21.349071909858218]
  正規化重みの関数として分離された再構成ネットワークのパラメータを生成するためにハイパーネットワークを利用する新しい戦略を提案する。 実験時, アンダーサンプル画像の場合, 我々のモデルは, 異なる量の正規化で高速に再構成を計算できる。 特に全体的な品質が類似した状況において,これらの復元の変動性を分析する。
  論文  参考訳（メタデータ） (2021-01-06T18:55:37Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations [0.7614628596146599]
  本稿では,Encoded Prior Sliced Wasserstein AutoEncoderを紹介する。 追加のプリエンコーダネットワークは、データ多様体の埋め込みを学習する。 従来のオートエンコーダとは違って,前者はデータの基盤となる幾何を符号化する。
  論文  参考訳（メタデータ） (2020-10-02T14:58:54Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT Prostate Segmentation via Online Sampling [66.01558025094333]
  本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。 マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。 本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-05-15T10:37:02Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)
• Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
  本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。 そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
  論文  参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。