論文の概要: Tighter Bounds on the Information Bottleneck with Application to Deep Learning

• arxiv url: http://arxiv.org/abs/2402.07639v1
• Date: Mon, 12 Feb 2024 13:24:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 14:19:03.660462
• Title: Tighter Bounds on the Information Bottleneck with Application to Deep Learning
• Title（参考訳）: 情報ボトルネックの厳密な境界とディープラーニングへの応用
• Authors: Nir Weingarten, Zohar Yakhini, Moshe Butman, Ran Gilad-Bachrach
• Abstract要約: Deep Neural Nets (DNN)は、下流タスク、目的関数、その他のパラメータによって誘導される潜在表現を学習する。 Information Bottleneck (IB)は、データモデリングのための仮説上最適なフレームワークを提供するが、しばしば難解である。 近年のDNNとIBの連携により,VAEにインスパイアされた変分法を相互情報のバウンダリ近似に適用し,敵攻撃に対するロバスト性の向上を実現している。
• 参考スコア（独自算出の注目度）: 6.206127662604578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Nets (DNNs) learn latent representations induced by their downstream task, objective function, and other parameters. The quality of the learned representations impacts the DNN's generalization ability and the coherence of the emerging latent space. The Information Bottleneck (IB) provides a hypothetically optimal framework for data modeling, yet it is often intractable. Recent efforts combined DNNs with the IB by applying VAE-inspired variational methods to approximate bounds on mutual information, resulting in improved robustness to adversarial attacks. This work introduces a new and tighter variational bound for the IB, improving performance of previous IB-inspired DNNs. These advancements strengthen the case for the IB and its variational approximations as a data modeling framework, and provide a simple method to significantly enhance the adversarial robustness of classifier DNNs.
• Abstract（参考訳）: Deep Neural Nets (DNN)は、下流タスク、目的関数、その他のパラメータによって誘導される潜在表現を学習する。 学習された表現の質は、DNNの一般化能力と出現する潜在空間のコヒーレンスに影響を与える。 Information Bottleneck (IB)は、データモデリングのための仮説上最適なフレームワークを提供するが、しばしば難解である。 近年のDNNとIBの連携により,VAEにインスパイアされた変動法が相互情報の境界を近似し,敵攻撃に対する堅牢性が向上した。 本研究は,従来のIBにインスパイアされたDNNの性能を向上させるため,新しい,より厳密な変化境界を導入する。 これらの進歩は、データモデリングフレームワークとしてのIBとその変分近似のケースを強化し、分類器DNNの対角ロバスト性を著しく向上する簡単な方法を提供する。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• Supervised Gradual Machine Learning for Aspect Category Detection [0.9857683394266679]
  アスペクトカテゴリー検出(ACD)は、あるレビュー文の中で暗黙的かつ明示的な側面を識別することを目的としている。 本稿では,Deep Neural Networks (DNN) と Gradual Machine Learning (GML) を教師付き環境で組み合わせることで,ACDタスクに取り組む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T07:21:46Z)
• FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
  大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。 我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。 我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
  論文  参考訳（メタデータ） (2023-09-13T08:51:19Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• On the benefits of robust models in modulation recognition [53.391095789289736]
  畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。 画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。 最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-27T19:58:06Z)
• Gradient-Free Adversarial Attacks for Bayesian Neural Networks [9.797319790710713]
  敵対的な例は、機械学習モデルの堅牢性を理解することの重要性を強調している。 本研究では,BNNの逆例を見つけるために,勾配のない最適化手法を用いる。
  論文  参考訳（メタデータ） (2020-12-23T13:19:11Z)
• Towards Robust Neural Networks via Orthogonal Diversity [30.77473391842894]
  敵の訓練とその変種に代表される一連の手法は、ディープニューラルネットワークの堅牢性を高める最も効果的な手法の1つとして証明されている。 本稿では, 多様な入力に適応する特徴を学習するために, モデルの拡張を目的とした新しい防御手法を提案する。 このようにして、提案したDIOは、これらの相互直交経路によって学習された特徴を補正できるため、モデルを強化し、DNN自体の堅牢性を高める。
  論文  参考訳（メタデータ） (2020-10-23T06:40:56Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。