Fugu-MT 論文翻訳(概要): Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck

論文の概要: Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck

arxiv url: http://arxiv.org/abs/2203.02592v1
Date: Fri, 4 Mar 2022 22:22:51 GMT
ステータス: 処理完了
システム内更新日: 2022-03-08 15:14:47.621805
Title: Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck
Title（参考訳）: sparsity-induced categorical priorは情報ボトルネックのロバスト性を改善する
Authors: Anirban Samaddar, Sandeep Madireddy, Prasanna Balaprakash
Abstract要約: フレキシビリティを提供するメカニズムとしてスペーサを用いた,スペーサ誘導型スパイクスラブを新たに提案する。提案手法は従来の固定比例前の手法と比較して精度とロバスト性を向上することを示す。
参考スコア（独自算出の注目度）: 4.2903672492917755
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The information bottleneck framework provides a systematic approach to learn representations that compress nuisance information in inputs and extract semantically meaningful information about the predictions. However, the choice of the prior distribution that fix the dimensionality across all the data can restrict the flexibility of this approach to learn robust representations. We present a novel sparsity-inducing spike-slab prior that uses sparsity as a mechanism to provide flexibility that allows each data point to learn its own dimension distribution. In addition, it provides a mechanism to learn a joint distribution of the latent variable and the sparsity. Thus, unlike other approaches, it can account for the full uncertainty in the latent space. Through a series of experiments using in-distribution and out-of-distribution learning scenarios on the MNIST and Fashion-MNIST data we show that the proposed approach improves the accuracy and robustness compared with the traditional fixed -imensional priors as well as other sparsity-induction mechanisms proposed in the literature.
Abstract（参考訳）: 情報ボトルネックフレームワークは、入力中のニュアンス情報を圧縮し、予測に関する意味論的意味のある情報を抽出する表現を学習するための体系的なアプローチを提供する。しかしながら、すべてのデータにわたる次元性を修正する事前分布の選択は、堅牢な表現を学ぶためのこのアプローチの柔軟性を制限することができる。本稿では,各データポイントがそれぞれの次元分布を学習するための柔軟性を提供するメカニズムとして,スパーシリティを用いた新しいスパイクスラブを提案する。さらに、潜在変数と空間の結合分布を学習するメカニズムを提供する。したがって、他のアプローチとは異なり、潜在空間における完全不確実性を考慮することができる。 MNISTデータとFashion-MNISTデータに対する分布内および分布外学習シナリオを用いた一連の実験により,本手法は従来の固定-imensionalの先行手法や,文献で提案される疎性推論機構と比較して,精度と堅牢性を向上させることを示した。

関連論文リスト

The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文参考訳（メタデータ） (2024-02-22T20:36:24Z)
Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
論文参考訳（メタデータ） (2024-02-13T09:40:19Z)
Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning [4.124934010794795]
自己教師付き学習は、ラベルのないデータから意味のある表現をモデルが取得できるようにすることで、機械学習を前進させる上で重要な役割を担っている。本稿では,情報ボトルネックに対する確率的モデリングの影響について検討し,情報圧縮と情報保存のトレードオフについて述べる。以上の結果から,損失空間に新たなボトルネックを導入することにより,アウト・オブ・ディストリビューションの事例を検出する能力が著しく向上することが示唆された。
論文参考訳（メタデータ） (2023-10-27T12:01:16Z)
Integrating Large Pre-trained Models into Multimodal Named Entity Recognition with Evidential Fusion [31.234455370113075]
本稿では,MNERタスクに不確実性推定を取り入れ,信頼に値する予測を生成することを提案する。提案アルゴリズムは,各モードの分布を正規逆ガンマ分布としてモデル化し,それらを統一分布に融合する。 2つのデータセットの実験により,提案手法がベースラインを上回り,新しい最先端性能を実現することを示す。
論文参考訳（メタデータ） (2023-06-29T14:50:23Z)
Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文参考訳（メタデータ） (2023-03-03T16:12:59Z)
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文参考訳（メタデータ） (2021-10-24T07:58:13Z)
InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
論文参考訳（メタデータ） (2021-06-25T16:34:05Z)
Incorporating Causal Graphical Prior Knowledge into Predictive Modeling via Simple Data Augmentation [92.96204497841032]
因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
論文参考訳（メタデータ） (2021-02-27T06:13:59Z)
Robust model training and generalisation with Studentising flows [22.757298187704745]
本稿では、ロバストな(特に耐性のある)統計からの洞察に基づいて、これらの手法をさらに改善する方法について論じる。本稿では, ガウス分布の簡易なドロップイン置換として, 太い尾の潜伏分布を持つフローベースモデルを提案する。いくつかの異なるデータセットの実験により、提案手法の有効性が確認された。
論文参考訳（メタデータ） (2020-06-11T16:47:01Z)
Secure and Differentially Private Bayesian Learning on Distributed Data [17.098036331529784]
本稿では,事前条件付きランゲヴィンダイナミクスとRMSpropを併用した分散ベイズ学習手法を提案する。提案手法を分散データのロジスティック回帰と生存分析に応用し, 集中型手法と比較して, 予測精度と時間複雑性の観点からその可能性を示した。
論文参考訳（メタデータ） (2020-05-22T05:13:43Z)
Distributionally Robust Chance Constrained Programming with Generative Adversarial Networks (GANs) [0.0]
GAN(Generative Adversarial Network)をベースとしたデータ駆動型分散ロバストな制約付きプログラミングフレームワークを提案する。非パラメトリックかつ教師なしの方法で、歴史的データから分布情報を完全抽出するために、GANを適用する。提案手法は需要不確実性の下でサプライチェーン最適化に適用される。
論文参考訳（メタデータ） (2020-02-28T00:05:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。