Fugu-MT 論文翻訳(概要): Sample-Conditioned Hypothesis Stability Sharpens Information-Theoretic Generalization Bounds

論文の概要: Sample-Conditioned Hypothesis Stability Sharpens Information-Theoretic Generalization Bounds

arxiv url: http://arxiv.org/abs/2310.20102v1
Date: Tue, 31 Oct 2023 00:44:20 GMT
ステータス: 処理完了
システム内更新日: 2023-11-01 16:59:36.040902
Title: Sample-Conditioned Hypothesis Stability Sharpens Information-Theoretic Generalization Bounds
Title（参考訳）: 情報理論一般化境界のシャープ化
Authors: Ziqiao Wang and Yongyi Mao
Abstract要約: 本稿では,「隣り合う仮説」行列を新たに構築することで,情報理論の一般化を保証する。提案手法は,様々な学習シナリオにおいて,従来の情報理論的境界を改善した,よりシャープな境界を与える。
参考スコア（独自算出の注目度）: 41.25859594345433
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present new information-theoretic generalization guarantees through the a novel construction of the "neighboring-hypothesis" matrix and a new family of stability notions termed sample-conditioned hypothesis (SCH) stability. Our approach yields sharper bounds that improve upon previous information-theoretic bounds in various learning scenarios. Notably, these bounds address the limitations of existing information-theoretic bounds in the context of stochastic convex optimization (SCO) problems, as explored in the recent work by Haghifam et al. (2023).
Abstract（参考訳）: 本稿では,「隣り合う仮説」行列と,サンプル条件仮説(SCH)安定性と呼ばれる新しい安定性概念を新たに構築することで,情報理論の一般化を保証する。我々のアプローチは、様々な学習シナリオにおいて、以前の情報理論的な境界を改善する、より鋭い境界をもたらす。特に、これらの境界は、Haghifam et al. (2023) の最近の研究で明らかになったように、確率凸最適化(SCO)問題の文脈における既存の情報理論境界の限界に対処する。

関連論文リスト

Statistical inverse learning problems with random observations [0.0]
本稿では, 非線形逆問題と非線形逆問題の両方を対象とし, ランダムな実験設計による統計的逆問題における最近の進展について概説する。スペクトル正則化法と射影による正則化の最近の結果について考察し、ヒルベルトスケールの文脈内で両方のアプローチを探索する。薬物動態・薬物動態(PK/PD)モデルにおける非線形逆問題へのこれらの概念の適用を実証する。
論文参考訳（メタデータ） (2023-12-23T20:34:49Z)
Q-Learning for Stochastic Control under General Information Structures and Non-Markovian Environments [1.90365714903665]
反復に対する収束定理を提示し、特に一般の、おそらくは非マルコフ的環境下でのQ学習を反復する。非マルコフ環境における様々な制御問題に対するこの定理の意義と応用について論じる。
論文参考訳（メタデータ） (2023-10-31T19:53:16Z)
On the Local Quadratic Stability of T-S Fuzzy Systems in the Vicinity of the Origin [7.191780076353627]
本研究の主な目的は,T-Sファジィシステムにおける局所安定条件の導入である。これらの安定性条件は2次リアプノフ函数と組み合わせた線形行列不等式(LMI)に基づいている。
論文参考訳（メタデータ） (2023-09-13T09:43:55Z)
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
論文参考訳（メタデータ） (2022-12-27T17:16:48Z)
A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima [0.0]
非孤立ミニマは、未探索のままのユニークな挑戦を示す。本稿では, 勾配降下法の非溶解大域ミニマへの局所収束について検討する。
論文参考訳（メタデータ） (2022-03-21T13:33:37Z)
Robust and Provable Guarantees for Sparse Random Embeddings [72.24615341588846]
我々は、Freksen が al. (NIPS'18) と Jagadeesan (NIPS'18) で提供したスパースランダム埋め込みの保証を改善する。 a) 前述した保証とは対照的に我々の境界は明示的であり、(b)我々の境界は実際に重要な定数によってよりシャープであることが保証されている。我々は、我々の境界が、広範囲の現実世界のデータセットに関する先行研究よりも著しく優れていることを実証的に実証した。
論文参考訳（メタデータ） (2022-02-22T11:15:59Z)
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文参考訳（メタデータ） (2021-06-30T18:32:46Z)
Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文参考訳（メタデータ） (2020-06-15T06:30:19Z)
Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。