論文の概要: Statistically Valid Information Bottleneck via Multiple Hypothesis Testing

• arxiv url: http://arxiv.org/abs/2409.07325v1
• Date: Wed, 11 Sep 2024 15:04:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 14:13:20.289843
• Title: Statistically Valid Information Bottleneck via Multiple Hypothesis Testing
• Title（参考訳）: 多変量仮説テストによる統計的に妥当な情報ボトルネック
• Authors: Amirmohammad Farzaneh, Osvaldo Simeone,
• Abstract要約: 複数仮説テスト(IB-MHT)による情報ボトルネック(IB)問題に対する統計的に有効な解を提案する。 IB-MHTは、利用可能なデータセットのサイズに関係なく、学習した機能が高い確率でIB制約を満たすことを保証します。 古典的および決定論的IB定式化におけるIB-MHTの性能を示す。
• 参考スコア（独自算出の注目度）: 35.59201763567714
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The information bottleneck (IB) problem is a widely studied framework in machine learning for extracting compressed features that are informative for downstream tasks. However, current approaches to solving the IB problem rely on a heuristic tuning of hyperparameters, offering no guarantees that the learned features satisfy information-theoretic constraints. In this work, we introduce a statistically valid solution to this problem, referred to as IB via multiple hypothesis testing (IB-MHT), which ensures that the learned features meet the IB constraints with high probability, regardless of the size of the available dataset. The proposed methodology builds on Pareto testing and learn-then-test (LTT), and it wraps around existing IB solvers to provide statistical guarantees on the IB constraints. We demonstrate the performance of IB-MHT on classical and deterministic IB formulations, validating the effectiveness of IB-MHT in outperforming conventional methods in terms of statistical robustness and reliability.
• Abstract（参考訳）: 情報ボトルネック(IB)問題は、下流タスクに有用な圧縮された特徴を抽出する機械学習のフレームワークとして広く研究されている。 しかし、現在のIB問題に対するアプローチはハイパーパラメータのヒューリスティックなチューニングに依存しており、学習した特徴が情報理論上の制約を満たすという保証は提供されていない。 本研究では,複数の仮説テスト (IB-MHT) を用いて,この問題に対する統計的に有効な解を提案する。 提案手法はParetoテストとLearning-then-test(LTT)に基づいており、既存のIBソルバを包み込み、IB制約の統計的保証を提供する。 IB-MHT の古典的および決定論的 IB の定式化における性能を実証し,統計的堅牢性と信頼性の観点から従来の手法よりも優れた性能を示す。

関連論文リスト

• MedBN: Robust Test-Time Adaptation against Malicious Test Samples [11.397666167665484]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の予期せぬ分散シフトによるパフォーマンス劣化に対処する、有望なソリューションとして登場した。 以前の研究では、テストバッチのごく一部が不正に操作された場合でも、TTA内のセキュリティ脆弱性が明らかになった。 テスト時間推論におけるバッチ正規化層内の統計量推定に中央値のロバスト性を利用する中央値バッチ正規化(MedBN)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T11:33:02Z)
• Rapid and Scalable Bayesian AB Testing [0.0]
  本稿では,現在のAB試験手法の限界に対処するため,階層ベイズ推定を適用した手法を提案する。 因子間の相関を利用して統計的パワーを高め、逐次テストと進行早期停止を可能にする。 また、過去のABテストから複合グローバルラーニングを抽出できるように、この方法論をどのように拡張できるかを実証する。
  論文  参考訳（メタデータ） (2023-07-27T05:08:49Z)
• B-Learner: Quasi-Oracle Bounds on Heterogeneous Causal Effects Under Hidden Confounding [51.74479522965712]
  本稿では,B-Learnerと呼ばれるメタラーナーを提案する。 我々は、その推定が有効で、鋭く、効率的であることを証明し、既存の方法よりも一般的な条件下で構成推定器に対して準オーラル特性を持つことを示した。
  論文  参考訳（メタデータ） (2023-04-20T18:07:19Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• Empirical Bayesian Approaches for Robust Constraint-based Causal Discovery under Insufficient Data [38.883810061897094]
  因果発見法は、多くの実世界のデータセットではそうではないかもしれないデータ飽和度を仮定する。 本研究では,制約に基づく因果探索手法の性能向上を図るため,ベイジアンによる頻繁な独立性試験を提案する。 実験の結果,SOTA法よりも精度と効率が向上した。
  論文  参考訳（メタデータ） (2022-06-16T21:08:49Z)
• Differential privacy and robust statistics in high dimensions [49.50869296871643]
  高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。 本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2021-11-12T06:36:40Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• The Conditional Entropy Bottleneck [8.797368310561058]
  我々は、頑健な一般化の失敗を、ホールトアウトセット上の精度や関連するメトリクスの失敗として特徴づける。 本稿では,モデルの品質を評価するために,最小限必要情報(MNI)基準を提案する。 MNI基準に関して良好に機能するモデルを訓練するために、新しい目的関数である条件エントロピー・ボトルネック(CEB)を提案する。 我々は,CEBモデルと決定論的モデル,および様々なデータセット上での変動情報ボトルネック(VIB)モデルの性能を比較することにより,我々の仮説を実験的に検証した。
  論文  参考訳（メタデータ） (2020-02-13T07:46:38Z)
• The empirical duality gap of constrained statistical learning [115.23598260228587]
  本研究では,制約付き統計学習問題(制約なし版)について,ほぼ全ての現代情報処理のコアとなる研究を行った。 本稿では, 有限次元パラメータ化, サンプル平均, 双対性理論を利用して, 無限次元, 未知分布, 制約を克服する制約付き統計問題に取り組むことを提案する。 フェアラーニングアプリケーションにおいて,この制約付き定式化の有効性と有用性を示す。
  論文  参考訳（メタデータ） (2020-02-12T19:12:29Z)
• Statistical Agnostic Mapping: a Framework in Neuroimaging based on Concentration Inequalities [0.0]
  ボクセルやマルチボクセルレベルでの統計アグノスティック(非パラメトリック)マッピングを導出する。 集中不平等に基づくニューロイメージングの新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2019-12-27T18:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。