論文の概要: Flexible Variational Information Bottleneck: Achieving Diverse
Compression with a Single Training
- arxiv url: http://arxiv.org/abs/2402.01238v1
- Date: Fri, 2 Feb 2024 09:03:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 16:17:09.694444
- Title: Flexible Variational Information Bottleneck: Achieving Diverse
Compression with a Single Training
- Title（参考訳）: フレキシブルな変分情報ボトルネック:シングルトレーニングによる横圧縮の実現
- Authors: Sota Kudo, Naoaki Ono, Shigehiko Kanaya, Ming Huang
- Abstract要約: 本稿では,FVIB (Flexible Variational Information Bottleneck) を分類タスクに導入する。
FVIB は変動情報ボトルネック (VIB) の目的関数の近似を同時に最大化できることを示す。
- 参考スコア（独自算出の注目度）: 0.2548904650574671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Information Bottleneck (IB) is a widely used framework that enables the
extraction of information related to a target random variable from a source
random variable. In the objective function, IB controls the trade-off between
data compression and predictiveness through the Lagrange multiplier $\beta$.
Traditionally, to find the trade-off to be learned, IB requires a search for
$\beta$ through multiple training cycles, which is computationally expensive.
In this study, we introduce Flexible Variational Information Bottleneck (FVIB),
an innovative framework for classification task that can obtain optimal models
for all values of $\beta$ with single, computationally efficient training. We
theoretically demonstrate that across all values of reasonable $\beta$, FVIB
can simultaneously maximize an approximation of the objective function for
Variational Information Bottleneck (VIB), the conventional IB method. Then we
empirically show that FVIB can learn the VIB objective as effectively as VIB.
Furthermore, in terms of calibration performance, FVIB outperforms other IB and
calibration methods by enabling continuous optimization of $\beta$. Our codes
are available at https://github.com/sotakudo/fvib.
- Abstract（参考訳）: Information Bottleneck(IB)は、ターゲットのランダム変数に関連する情報をソースのランダム変数から抽出できるフレームワークである。
目的関数では、ibはラグランジュ乗算器$\beta$を介してデータ圧縮と予測性のトレードオフを制御する。
伝統的に、学習すべきトレードオフを見つけるために、IBは複数のトレーニングサイクルを通じて$\beta$を検索する必要がある。
本研究では,FVIB (Flexible Variational Information Bottleneck) について紹介する。FVIBは1つの計算効率のトレーニングで,$\beta$の全ての値に対して最適なモデルを得ることができる。
理論的には、$\beta$の全ての値に対して、従来のIB法であるVIBに対する目的関数の近似を同時に最大化できることが示されている。
次に、FVIBがVIBの目的をVIBと同じくらい効果的に学習できることを実証的に示す。
さらに、キャリブレーション性能の面では、FVIBは$\beta$の連続最適化を可能にし、他のIBやキャリブレーション法よりも優れている。
私たちのコードはhttps://github.com/sotakudo/fvibで利用可能です。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Improvement and generalization of ABCD method with Bayesian inference [36.136619420474766]
我々は、利用可能な情報を活用することに集中し、通常のデータ駆動型ABCD法を再考する努力を注いでいる。
ABCD法とは対照的に,異なる背景の性質の理解をいかに活用できるかを示す。
この単純化されたモデルにおいて、ベイズフレームワークは信号分数を得る際のABCD法感度よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-12T19:05:27Z) - Variance Alignment Score: A Simple But Tough-to-Beat Data Selection
Method for Multimodal Contrastive Learning [17.40655778450583]
本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。
VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
論文 参考訳（メタデータ） (2024-02-03T06:29:04Z) - BOIS: Bayesian Optimization of Interconnected Systems [0.0]
BOにおける複合関数の効率的な利用を可能にする新しいパラダイムを提案する。
この単純なアプローチ(BOISと呼ぶ)が構造的知識の活用を可能にしていることを示す。
以上の結果から,BOISが性能向上を実現し,複合関数の統計を正確に把握できることが示唆された。
論文 参考訳（メタデータ） (2023-11-19T06:44:13Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。
我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。
我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
論文 参考訳（メタデータ） (2022-09-30T15:01:35Z) - Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。
既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。
本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
論文 参考訳（メタデータ） (2022-03-11T10:47:16Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - Gated Information Bottleneck for Generalization in Sequential
Environments [13.795129636387623]
深層ニューラルネットワークは、基礎となるデータ分布がトレーニングセットのそれと異なる場合、一般化が悪く、目に見えない環境に苦しむ。
ゲート情報ボトルネック(GIB)と呼ばれるニューラルネットワークに基づく新しいISBアプローチを提案する。
我々は、敵対的ロバスト性およびアウト・オブ・ディストリビューション検出において、他の一般的なニューラルネットワークベースのIBアプローチよりもGIBの方が優れていることを実証的に示す。
論文 参考訳（メタデータ） (2021-10-12T14:58:38Z) - On the Difference Between the Information Bottleneck and the Deep
Information Bottleneck [81.89141311906552]
本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再考する。
後者のマルコフ連鎖のみを満たすべき$I(T;Y)$に対して下界を最適化することで、この制限を回避する方法を示す。
論文 参考訳（メタデータ） (2019-12-31T18:31:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。