論文の概要: Generalization Bounds: Perspectives from Information Theory and PAC-Bayes

• arxiv url: http://arxiv.org/abs/2309.04381v2
• Date: Wed, 27 Mar 2024 17:07:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 23:02:36.342164
• Title: Generalization Bounds: Perspectives from Information Theory and PAC-Bayes
• Title（参考訳）: 一般化境界:情報理論とPAC-Bayes
• Authors: Fredrik Hellström, Giuseppe Durisi, Benjamin Guedj, Maxim Raginsky,
• Abstract要約: PAC-Bayesianアプローチは、機械学習アルゴリズムの一般化機能に対処するための柔軟なフレームワークとして確立されている。 一般化に関する情報理論的な視点が発達し、一般化と様々な情報手段の関係が確立された。 本稿では,2つの視点が共通する手法と結果を提示し,異なるアプローチと解釈について議論する。
• 参考スコア（独自算出の注目度）: 31.803107987439784
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A fundamental question in theoretical machine learning is generalization. Over the past decades, the PAC-Bayesian approach has been established as a flexible framework to address the generalization capabilities of machine learning algorithms, and design new ones. Recently, it has garnered increased interest due to its potential applicability for a variety of learning algorithms, including deep neural networks. In parallel, an information-theoretic view of generalization has developed, wherein the relation between generalization and various information measures has been established. This framework is intimately connected to the PAC-Bayesian approach, and a number of results have been independently discovered in both strands. In this monograph, we highlight this strong connection and present a unified treatment of PAC-Bayesian and information-theoretic generalization bounds. We present techniques and results that the two perspectives have in common, and discuss the approaches and interpretations that differ. In particular, we demonstrate how many proofs in the area share a modular structure, through which the underlying ideas can be intuited. We pay special attention to the conditional mutual information (CMI) framework; analytical studies of the information complexity of learning algorithms; and the application of the proposed methods to deep learning. This monograph is intended to provide a comprehensive introduction to information-theoretic generalization bounds and their connection to PAC-Bayes, serving as a foundation from which the most recent developments are accessible. It is aimed broadly towards researchers with an interest in generalization and theoretical machine learning.
• Abstract（参考訳）: 理論的機械学習の基本的な問題は一般化である。 過去数十年にわたって、PAC-Bayesianアプローチは、機械学習アルゴリズムの一般化能力に対処し、新しいものを設計するための柔軟なフレームワークとして確立されてきた。 近年、ディープニューラルネットワークを含むさまざまな学習アルゴリズムの適用可能性から、関心が高まっている。 並行して、一般化に関する情報理論的な視点が発達し、一般化と様々な情報対策の関係が確立された。 このフレームワークはPAC-ベイジアンアプローチと密接に結びついており、両方の鎖で独立に多くの結果が発見されている。 このモノグラフでは、この強い接続を強調し、PAC-ベイジアンおよび情報理論の一般化境界を統一的に扱う。 本稿では,2つの視点が共通する手法と結果を提示し,異なるアプローチと解釈について議論する。 特に、この領域の証明がモジュラー構造を共有しているかを示す。 我々は、条件付き相互情報(CMI)フレームワーク、学習アルゴリズムの情報複雑性の分析研究、提案手法の深層学習への応用に特に注目する。 このモノグラフは、情報理論の一般化境界とPAC-Bayesとの関係を包括的に紹介することを目的としており、最新の開発が利用できる基盤となっている。 一般化と理論的機械学習に関心を持つ研究者を対象とする。

関連論文リスト

• Discovering emergent connections in quantum physics research via dynamic word embeddings [0.562479170374811]
  概念結合予測のための動的単語埋め込みに基づく新しい手法を提案する。 知識グラフとは異なり,本手法は概念間の暗黙の関係を捉え,教師なしの方法で学習し,より広い範囲の情報を符号化する。 この表現は、科学文献における概念的関係をモデル化するための、より柔軟で情報的な方法を提供することを示唆している。
  論文  参考訳（メタデータ） (2024-11-10T19:45:59Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Discovering Common Information in Multi-view Data [35.37807004353416]
  多視点データから共通情報を計算するための革新的で数学的に厳密な定義を導入する。 我々は,共通情報と一意情報の両方を捉えるために,教師付き多視点学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-06-21T10:47:06Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark [55.898771405172155]
  フェデレートラーニングは、異なる当事者間のプライバシー保護コラボレーションのための有望なパラダイムとして登場した。 我々は,連合学習研究の重要かつ最近の展開を体系的に概観する。
  論文  参考訳（メタデータ） (2023-11-12T06:32:30Z)
• Bayesian Learning for Neural Networks: an algorithmic survey [95.42181254494287]
  この自己完結型調査は、ベイズ学習ニューラルネットワークの原理とアルゴリズムを読者に紹介する。 アクセシブルで実践的な視点からこのトピックを紹介します。
  論文  参考訳（メタデータ） (2022-11-21T21:36:58Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• A survey of Bayesian Network structure learning [8.411014222942168]
  本稿では,データからBN構造を学習するための61のアルゴリズムについてレビューする。 各アルゴリズムの基本的アプローチは一貫性のある言葉で説明され、それらの類似点と相違点が強調された。 実世界のデータセットでのデータノイズに対処し、学習プロセスに専門家の知識を取り入れるためのアプローチについても紹介する。
  論文  参考訳（メタデータ） (2021-09-23T14:54:00Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)
• Reasoning About Generalization via Conditional Mutual Information [26.011933885798506]
  我々は、Mutual Information (CMI) を用いて、入力がどの程度の精度で認識できるかを定量化する。 CMIのバウンダリは,VC次元,圧縮スキーム,差分プライバシー,その他の手法から得られることを示す。 次に、有界な CMI は様々な種類の一般化を意味することを示す。
  論文  参考訳（メタデータ） (2020-01-24T18:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。