Fugu-MT 論文翻訳(概要): Learning Robust Variational Information Bottleneck with Reference

論文の概要: Learning Robust Variational Information Bottleneck with Reference

arxiv url: http://arxiv.org/abs/2104.14379v1
Date: Thu, 29 Apr 2021 14:46:09 GMT
ステータス: 処理完了
システム内更新日: 2021-04-30 18:50:15.862868
Title: Learning Robust Variational Information Bottleneck with Reference
Title（参考訳）: 参照型ロバスト変分情報ボトルネックの学習
Authors: Weizhu Qian, Bowei Chen, Xiaowei Huang
Abstract要約: 変動情報ボトルネック(VIB)を訓練する新しいアプローチを提案し、その堅牢性を敵対的な摂動に改善する。事前に訓練された参照ニューラルネットワークから得られるソフトラベルを用いて、トレーニングフェーズの分類クラス情報を洗練します。
参考スコア（独自算出の注目度）: 12.743882133781598
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a new approach to train a variational information bottleneck (VIB) that improves its robustness to adversarial perturbations. Unlike the traditional methods where the hard labels are usually used for the classification task, we refine the categorical class information in the training phase with soft labels which are obtained from a pre-trained reference neural network and can reflect the likelihood of the original class labels. We also relax the Gaussian posterior assumption in the VIB implementation by using the mutual information neural estimation. Extensive experiments have been performed with the MNIST and CIFAR-10 datasets, and the results show that our proposed approach significantly outperforms the benchmarked models.
Abstract（参考訳）: そこで本研究では, 変動情報ボトルネック(vib)を訓練し, 逆摂動に対するロバスト性を改善するための新しい手法を提案する。分類作業にハードラベルを通常使用する従来の方法とは異なり、トレーニングフェーズにおける分類的クラス情報を、事前訓練された参照ニューラルネットワークから得られるソフトラベルで洗練し、元のクラスラベルの可能性を反映することができる。また,vib実装におけるgaussian posterior assumptionを相互情報ニューラル推定を用いて緩和する。 MNIST と CIFAR-10 データセットを用いて大規模な実験を行い,提案手法がベンチマークモデルより有意に優れていることを示す。

関連論文リスト

Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文参考訳（メタデータ） (2024-06-20T18:35:47Z)
XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文参考訳（メタデータ） (2023-10-09T08:07:04Z)
Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文参考訳（メタデータ） (2023-05-17T17:47:19Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-03T15:09:19Z)
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文参考訳（メタデータ） (2022-03-18T16:50:38Z)
Robust Neural Network Classification via Double Regularization [2.41710192205034]
本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
論文参考訳（メタデータ） (2021-12-15T13:19:20Z)
Meta-Learning for Neural Relation Classification with Distant Supervision [38.755055486296435]
本稿では,参照データの指導の下で,雑音の多い学習データを重み付けするメタラーニング手法を提案する。いくつかのデータセットの実験では、参照データがトレーニングデータの選択を効果的にガイドできることが示されている。
論文参考訳（メタデータ） (2020-10-26T12:52:28Z)
Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文参考訳（メタデータ） (2020-09-30T05:19:56Z)
COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
2つの目的の交互最小化によるDNNとソフトラベルの共学習本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
論文参考訳（メタデータ） (2020-04-26T17:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。