論文の概要: Individually Conditional Individual Mutual Information Bound on Generalization Error

• arxiv url: http://arxiv.org/abs/2012.09922v2
• Date: Tue, 29 Dec 2020 00:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 10:15:52.699976
• Title: Individually Conditional Individual Mutual Information Bound on Generalization Error
• Title（参考訳）: 一般化誤差に基づく個別条件付き相互情報境界
• Authors: Ruida Zhou, Chao Tian, Tie Liu
• Abstract要約: Bu et al の誤差分解技術を組み合わせることで,一般化誤差に拘束される新たな情報理論を提案する。 単純なガウス設定では、条件付き個人相互情報 (CIMI) と CIMI 境界は、Bu et al のそれよりも順序的に悪い。
• 参考スコア（独自算出の注目度）: 17.70259869911552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new information-theoretic bound on generalization error based on a combination of the error decomposition technique of Bu et al. and the conditional mutual information (CMI) construction of Steinke and Zakynthinou. In a previous work, Haghifam et al. proposed a different bound combining the two aforementioned techniques, which we refer to as the conditional individual mutual information (CIMI) bound. However, in a simple Gaussian setting, both the CMI and the CIMI bounds are order-wise worse than that by Bu et al.. This observation motivated us to propose the new bound, which overcomes this issue by reducing the conditioning terms in the conditional mutual information. In the process of establishing this bound, a conditional decoupling lemma is established, which also leads to a meaningful dichotomy and comparison among these information-theoretic bounds.
• Abstract（参考訳）: 本稿では,bu と al の誤差分解手法を組み合わせた一般化誤差に関する新しい情報理論境界を提案する。 そして、Steinke と Zakynthinou の条件付き相互情報(CMI)構築。 前作『haghifam et al.』に収録。 上記の2つの手法を組み合わせて、条件付き個別相互情報(CIMI)バウンダリを提案する。 しかし、単純なガウス的な設定では、CMI と CIMI の境界は、Bu らによる境界よりも順序的に劣る。 この観察により,条件付き相互情報における条件付け項を削減し,この問題を克服する新たな境界の提案が求められた。 この境界を確立する過程で条件付き疎結合補題が確立され、これらの情報理論境界間の有意義な二分法と比較がもたらされる。

関連論文リスト

• Algorithm for Constrained Markov Decision Process with Linear Convergence [55.41644538483948]
  エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。 エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。 提案手法は(線形速度で)大域的最適値に収束することが示されている。
  論文  参考訳（メタデータ） (2022-06-03T16:26:38Z)
• Stochastic Gradient Methods with Preconditioned Updates [55.69352761176367]
  このような問題に対する既存のアルゴリズムは、問題のスケールが悪く、あるいは条件が不適切である場合、しばしばうまく機能しない。 ここでは、ヘッセン曲率の対角線を近似する2つのSARアプローチに基づくプレコンディショナーを含む。 理論的複雑性保証が提示され、滑らかさとPL条件の両方を仮定すると収束が証明される。
  論文  参考訳（メタデータ） (2022-06-01T07:38:08Z)
• Chained Generalisation Bounds [26.043342234937747]
  連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。 我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
  論文  参考訳（メタデータ） (2022-03-02T09:34:36Z)
• Tighter Expected Generalization Error Bounds via Convexity of Information Measures [8.359770027722275]
  一般化エラー境界は機械学習アルゴリズムを理解するのに不可欠である。 本稿では,出力仮説と各入力トレーニングサンプル間の平均結合分布に基づいて,新たな一般化誤差上限を提案する。
  論文  参考訳（メタデータ） (2022-02-24T15:36:09Z)
• Effect Identification in Cluster Causal Diagrams [51.42809552422494]
  クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。 C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。 我々はC-DAGに対する因果推論のための基礎と機械を開発する。
  論文  参考訳（メタデータ） (2022-02-22T21:27:31Z)
• From Generalisation Error to Transportation-cost Inequalities and Back [23.498743847708408]
  我々は、期待される一般化誤差と輸送コストの不等式とを結びつける。 我々は、Kulback-Leibler Divergences/Mutual Informationとサブガウス対策を超えています。
  論文  参考訳（メタデータ） (2022-02-08T16:07:08Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Decomposed Mutual Information Estimation for Contrastive Representation Learning [66.52795579973484]
  最近のコントラスト的表現学習法は、基礎となるコンテキストの複数のビュー間の相互情報(MI)を推定することに依存している。 そこで本研究では,MI推定問題を1つのビューを段階的により情報的なサブビューに分割することにより,より小さな推定問題の和に分解することを提案する。 この式は無条件MI項と条件MI項の和を含み、それぞれが全MIのモデストチャンクを測定する。 DEMIは、通常の非分解コントラスト境界よりも多くのMIを合成条件で捕捉できることを示す。
  論文  参考訳（メタデータ） (2021-06-25T03:19:25Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)
• Information Complexity and Generalization Bounds [0.0]
  ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。 本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
  論文  参考訳（メタデータ） (2021-05-04T20:37:57Z)
• Sequential- and Parallel- Constrained Max-value Entropy Search via Information Lower Bound [9.09466320810472]
  我々は、最大値エントロピー探索(MES)と呼ばれる情報理論のアプローチに焦点を当てる。 CMES-IBO(Constrained Max-value Entropy Search via Information lower BOund)と呼ばれる新しい制約BO法を提案する。
  論文  参考訳（メタデータ） (2021-02-19T08:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。