論文の概要: Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds

• arxiv url: http://arxiv.org/abs/2411.06276v2
• Date: Thu, 02 Jan 2025 23:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:10:33.468085
• Title: Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds
• Title（参考訳）: 多視点多数投票学習アルゴリズム:PAC-Bayesian境界の直接最小化
• Authors: Mehdi Hennequin, Abdelkrim Zitouni, Khalid Benabdeslem, Haytham Elghazel, Yacine Gaci,
• Abstract要約: 我々は PAC-Bayesian 理論を多視点学習に拡張し、R'enyi divergence に基づいた新しい一般化境界を導入する。 これらの境界は、R'enyi の発散の柔軟性を生かして、伝統的な Kullback-Leibler の発散に基づく代替となる。 また,第1次および第2次オラクルPAC-Bayesian境界を提案し,Cバウンドをマルチビュー設定に拡張する。
• 参考スコア（独自算出の注目度）: 0.8039067099377079
• License:
• Abstract: The PAC-Bayesian framework has significantly advanced the understanding of statistical learning, particularly for majority voting methods. Despite its successes, its application to multi-view learning -- a setting with multiple complementary data representations -- remains underexplored. In this work, we extend PAC-Bayesian theory to multi-view learning, introducing novel generalization bounds based on R\'enyi divergence. These bounds provide an alternative to traditional Kullback-Leibler divergence-based counterparts, leveraging the flexibility of R\'enyi divergence. Furthermore, we propose first- and second-order oracle PAC-Bayesian bounds and extend the C-bound to multi-view settings. To bridge theory and practice, we design efficient self-bounding optimization algorithms that align with our theoretical results.
• Abstract（参考訳）: PAC-Bayesianフレームワークは、統計学習、特に多数決の方法に対する理解を著しく進歩させてきた。 その成功にもかかわらず、そのマルチビュー学習(複数の補完的なデータ表現を備えた設定)への応用はいまだ検討されていない。 本研究では, PAC-Bayesian理論を多視点学習に拡張し, R'enyi の発散に基づく新しい一般化境界を導入する。 これらの境界は、R'enyiの発散の柔軟性を生かして、伝統的なクルバック・リーブルの発散に基づく代替手段を提供する。 さらに,第1次および第2次オラクルPAC-Bayesian境界を提案し,Cバウンドをマルチビュー設定に拡張する。 理論と実践を橋渡しするために、理論結果と整合する効率的な自己バウンディング最適化アルゴリズムを設計する。

関連論文リスト

• Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
  PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。 一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。 以上の結果から,PbMARLの多面的アプローチが示唆された。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
  本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。 エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。 我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
  論文  参考訳（メタデータ） (2024-04-30T06:48:56Z)
• Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
  最適学習の設定にはPAC-ベイズ理論を用いる。 証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。 学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
  論文  参考訳（メタデータ） (2024-04-04T08:24:57Z)
• Generalization Bounds: Perspectives from Information Theory and PAC-Bayes [31.803107987439784]
  PAC-Bayesianアプローチは、機械学習アルゴリズムの一般化機能に対処するための柔軟なフレームワークとして確立されている。 一般化に関する情報理論的な視点が発達し、一般化と様々な情報手段の関係が確立された。 本稿では,2つの視点が共通する手法と結果を提示し,異なるアプローチと解釈について議論する。
  論文  参考訳（メタデータ） (2023-09-08T15:23:40Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
  PAC-Bayes理論を学習最適化の設定に適用する。 証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。 この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
  論文  参考訳（メタデータ） (2022-10-20T09:16:36Z)
• PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners [13.33450619901885]
  マルチクラス学習者を対象とした最初のPAC-Bayesian適応境界を提案する。 Gibbs予測器に依存する発散に対して、追加のPAC-ベイズ適応境界を提案する。 我々はニューラルネットワークを用いた共通適応アルゴリズムの解析に境界を適用した。
  論文  参考訳（メタデータ） (2022-07-12T17:07:59Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Self-Bounding Majority Vote Learning Algorithms by the Direct Minimization of a Tight PAC-Bayesian C-Bound [0.0]
  C-BoundのPAC-Bayesian保証に基づく自己拘束型多数決学習アルゴリズムを導出する。 私たちのアルゴリズムはスケーラブルで、非空き保証と組み合わせた正確な予測器につながります。
  論文  参考訳（メタデータ） (2021-04-28T08:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。