論文の概要: PAC-Bayes Information Bottleneck

• arxiv url: http://arxiv.org/abs/2109.14509v1
• Date: Wed, 29 Sep 2021 15:44:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 17:44:42.832321
• Title: PAC-Bayes Information Bottleneck
• Title（参考訳）: pac-bayes情報ボトルネック
• Authors: Zifeng Wang, Shao-Lun Huang, Ercan E. Kuruoglu, Jimeng Sun, Xi Chen, Yefeng Zheng
• Abstract要約: 情報ボトルネック(IB)は、符号化された表現の精度と簡潔さの間のトレードオフを描いている。 我々は、NNの学習重量の精度と複雑さのトレードオフに基づいて、新しいIBを構築する。 我々は、重みに格納された情報がPAC-Bayes一般化能力に束縛されているため、この新たなISBはNNの目的に対するより確かな接続であると主張している。
• 参考スコア（独自算出の注目度）: 44.397128797719425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information bottleneck (IB) depicts a trade-off between the accuracy and conciseness of encoded representations. IB has succeeded in explaining the objective and behavior of neural networks (NNs) as well as learning better representations. However, there are still critics of the universality of IB, e.g., phase transition usually fades away, representation compression is not causally related to generalization, and IB is trivial in deterministic cases. In this work, we build a new IB based on the trade-off between the accuracy and complexity of learned weights of NNs. We argue that this new IB represents a more solid connection to the objective of NNs since the information stored in weights bounds their PAC-Bayes generalization capability, hence we name it as PAC-Bayes IB (PIB). On PIB, we can identify the phase transition phenomenon in general cases and solidify the causality between compression and generalization. We then derive a tractable solution of PIB and design a stochastic inference algorithm by Markov chain Monte Carlo sampling. We empirically verify our claims through extensive experiments. We also substantiate the superiority of the proposed algorithm on training better NNs.
• Abstract（参考訳）: 情報ボトルネック(ib)は、符号化表現の正確性と簡潔さの間のトレードオフを描いている。 IBは、ニューラルネットワーク(NN)の目的と行動の説明と、より良い表現の学習に成功した。 しかし、いまだにIBの普遍性に対する批判があり、例えば、相転移は通常消え、表現圧縮は一般化とは因果関係がなく、IBは決定論的ケースでは自明である。 本研究では,学習したNNの重み付けの精度と複雑さのトレードオフに基づいて,新しいICBを構築する。 我々は、重みに格納された情報がPAC-Bayes一般化能力に束縛されているため、この新たなISBはNNの目的に対するより確かな接続であり、PAC-Bayes IB(PIB)と命名する。 PIBでは、一般に位相遷移現象を同定し、圧縮と一般化の因果関係を固化することができる。 次に,pibの抽出可能な解を導出し,マルコフ連鎖モンテカルロサンプリングによる確率的推論アルゴリズムを設計する。 我々は広範囲な実験を通じて自らの主張を実証する。 また,提案アルゴリズムの優れたNN訓練における優位性についても検証した。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Cauchy-Schwarz Divergence Information Bottleneck for Regression [27.768887283866643]
  情報ボトルネック(IB)アプローチは、ディープニューラルネットワークの一般化、堅牢性、説明可能性を改善するために人気がある。 我々は、コーシー=シュワルツ分岐の好ましい性質を利用して、深いニューラルネットワークでIBをパラメータ化する新しい方法を開発した。 我々は6つの実世界の回帰タスクにおいて、他の人気のある深いIBアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-27T16:13:05Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Elastic Information Bottleneck [34.90040361806197]
  情報ボトルネックは表現学習における情報理論の原則である。 IB正則化器とDIB正則化器の間を補間する弾性情報ボトルネック(EIB)を提案する。 シミュレーションと実データ実験により、IB は IB や DIB よりも優れたドメイン適応結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-07T12:53:55Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Recognizable Information Bottleneck [31.993478081354958]
  Information Bottlenecks (IB)は、情報圧縮によって見えないデータに一般化する表現を学習する。 IBは、空の一般化境界のため、現実のシナリオにおける一般化を保証できない。 本稿では、認識可能性批判を通じて表現の認識性を規則化する認識可能情報ボトルネック(RIB)を提案する。
  論文  参考訳（メタデータ） (2023-04-28T03:55:33Z)
• Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective [25.157282476221482]
  我々は、PAC-ベイズ理論がLTHと一般化行動の関係を明確に理解できることを示した。 PAC-Bayesバウンダリをスパイク・アンド・スラブ分布を用いて,入賞チケットの分析を行う。
  論文  参考訳（メタデータ） (2022-05-15T15:58:27Z)
• Gated Information Bottleneck for Generalization in Sequential Environments [13.795129636387623]
  深層ニューラルネットワークは、基礎となるデータ分布がトレーニングセットのそれと異なる場合、一般化が悪く、目に見えない環境に苦しむ。 ゲート情報ボトルネック(GIB)と呼ばれるニューラルネットワークに基づく新しいISBアプローチを提案する。 我々は、敵対的ロバスト性およびアウト・オブ・ディストリビューション検出において、他の一般的なニューラルネットワークベースのIBアプローチよりもGIBの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-12T14:58:38Z)
• A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks [99.46182575751271]
  グラフニューラルネットワーク(GNN)の2つの一次クラスに対する一般化境界を導出する。 その結果,重みの最大ノード次数とスペクトルノルムが両モデルの一般化境界を規定することが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T16:41:23Z)
• An Investigation into the Stochasticity of Batch Whitening [95.54842420166862]
  本稿では,より一般的なBatch Whitening(BW)手術について検討する。 様々なホワイトニング変換が条件付けを同等に改善する一方で,識別シナリオやGAN(Generative Adrial Networks)のトレーニングにおいて,異なる挙動を示すことが示されている。 提案するBWアルゴリズムは、ImageNetversaityにおいて、残余ネットワークを著しく改善する。
  論文  参考訳（メタデータ） (2020-03-27T11:06:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。