Fugu-MT 論文翻訳(概要): Tighter Information-Theoretic Generalization Bounds from Supersamples

論文の概要: Tighter Information-Theoretic Generalization Bounds from Supersamples

arxiv url: http://arxiv.org/abs/2302.02432v2
Date: Fri, 2 Jun 2023 15:35:35 GMT
ステータス: 処理完了
システム内更新日: 2023-06-05 20:10:05.133896
Title: Tighter Information-Theoretic Generalization Bounds from Supersamples
Title（参考訳）: スーパーサンプルからの高次情報理論一般化境界
Authors: Ziqiao Wang, Yongyi Mao
Abstract要約: 本稿では,学習アルゴリズムのための情報理論の新たな一般化境界について述べる。提示される境界は平方根境界、高速レート境界を含み、分散と鋭さに基づく境界を含む。理論的あるいは経験的に、これらの境界は、同じスーパーサンプル設定で知られているすべての情報理論境界よりも厳密であることを示す。
参考スコア（独自算出の注目度）: 27.14107452619853
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we present a variety of novel information-theoretic generalization bounds for learning algorithms, from the supersample setting of Steinke & Zakynthinou (2020)-the setting of the "conditional mutual information" framework. Our development exploits projecting the loss pair (obtained from a training instance and a testing instance) down to a single number and correlating loss values with a Rademacher sequence (and its shifted variants). The presented bounds include square-root bounds, fast-rate bounds, including those based on variance and sharpness, and bounds for interpolating algorithms etc. We show theoretically or empirically that these bounds are tighter than all information-theoretic bounds known to date on the same supersample setting.
Abstract（参考訳）: 本研究では,Steinke & Zakynthinou (2020) のスーパーサンプル設定から「条件付き相互情報」フレームワークの設定まで,学習アルゴリズムのための情報理論の新たな一般化境界について述べる。当社の開発では、損失ペア(トレーニングインスタンスとテストインスタンスから保持されている)を単一の数にプロジェクションし、損失値をrademacherシーケンス(とそのシフトされた変種)に関連付ける。提示される境界には平方根境界、分散と鋭さに基づく境界を含む高速レート境界、補間アルゴリズムなどが含まれる。理論的あるいは経験的に、これらの境界は、同じスーパーサンプル設定で知られているすべての情報理論境界よりも厳密であることを示す。

関連論文リスト

Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文参考訳（メタデータ） (2023-07-26T16:19:19Z)
Fast Rate Information-theoretic Bounds on Generalization Errors [8.102199960821165]
学習アルゴリズムの一般化誤差は、学習アルゴリズムの学習データにおける損失と、目に見えないテストデータにおける損失との違いを指す。一般化誤差に関する様々な情報理論境界が文献で導出されている。本稿では,これらの境界の厳密性について,それらの収束速度の標本サイズ依存性の観点から検討する。
論文参考訳（メタデータ） (2023-03-26T08:59:05Z)
Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
論文参考訳（メタデータ） (2023-02-09T20:42:36Z)
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
論文参考訳（メタデータ） (2022-12-27T17:16:48Z)
Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文参考訳（メタデータ） (2021-10-03T05:38:49Z)
Are Missing Links Predictable? An Inferential Benchmark for Knowledge Graph Completion [79.07695173192472]
InferWikiは推論能力、仮定、パターンの既存のベンチマークを改善している。各テストサンプルは、トレーニングセットの支持データで予測可能である。実験では,大きさや構造が異なるInferWikiの2つの設定をキュレートし,比較データセットとしてCoDExに構築プロセスを適用する。
論文参考訳（メタデータ） (2021-08-03T09:51:15Z)
Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
論文参考訳（メタデータ） (2021-01-22T20:13:59Z)
Generalization Bounds via Information Density and Conditional Information Density [14.147617330278662]
本稿では,指数関数的不等式に基づいてランダム化学習アルゴリズムの一般化誤差を導出する一般手法を提案する。 PAC-Bayesian と Single-draw の両方のシナリオに対して、平均一般化誤差のバウンダリと、そのテール確率のバウンダリを提供する。
論文参考訳（メタデータ） (2020-05-16T17:04:24Z)
Sharpened Generalization Bounds based on Conditional Mutual Information and an Application to Noisy, Iterative Algorithms [41.98752845890157]
本稿では,Steinke と Zakynthinou による提案を,スーパーサンプルの導入による学習アルゴリズムの一般化誤差について考察する。まず、条件付き相互情報に基づくこれらの新しい境界は、条件なし相互情報に基づく境界よりも厳密であることを示す。これらの境界をランゲヴィン力学の研究に適用し、超試料の条件付けにより仮説テストに基づいてより厳密な境界が得られることを示した。
論文参考訳（メタデータ） (2020-04-27T17:51:09Z)
The Simulator: Understanding Adaptive Sampling in the Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文参考訳（メタデータ） (2017-02-16T23:42:02Z)
Domain Adaptation: Learning Bounds and Algorithms [80.85426994513541]
本稿では,任意の損失関数を持つ適応問題に適した分布距離,差分距離を新たに導入する。広い損失関数族に対する領域適応のための新しい一般化境界を導出する。また、正規化に基づくアルゴリズムの大規模クラスに対する新しい適応境界も提示する。
論文参考訳（メタデータ） (2009-02-19T18:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。