論文の概要: Neural Capacity Estimators: How Reliable Are They?

• arxiv url: http://arxiv.org/abs/2111.07401v1
• Date: Sun, 14 Nov 2021 18:14:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 05:47:40.792217
• Title: Neural Capacity Estimators: How Reliable Are They?
• Title（参考訳）: ニューラルキャパシティ推定器 - 信頼性はどの程度か?
• Authors: Farhad Mirkarimi, Stefano Rini, Nariman Farsad
• Abstract要約: 我々は、相互情報神経推定器(MINE)、スムーズな相互情報下界推定器(SMILE)、情報指向神経推定器(DINE)の性能について検討した。 我々は,AWGNチャネル,光強度チャネル,ピーク電力制約AWGNチャネルに接近する入力分布を学習する能力の観点から,これらのアルゴリズムを評価する。
• 参考スコア（独自算出の注目度）: 14.904387585122851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, several methods have been proposed for estimating the mutual information from sample data using deep neural networks and without the knowing closed form distribution of the data. This class of estimators is referred to as neural mutual information estimators. Although very promising, such techniques have yet to be rigorously bench-marked so as to establish their efficacy, ease of implementation, and stability for capacity estimation which is joint maximization frame-work. In this paper, we compare the different techniques proposed in the literature for estimating capacity and provide a practitioner perspective on their effectiveness. In particular, we study the performance of mutual information neural estimator (MINE), smoothed mutual information lower-bound estimator (SMILE), and directed information neural estimator (DINE) and provide insights on InfoNCE. We evaluated these algorithms in terms of their ability to learn the input distributions that are capacity approaching for the AWGN channel, the optical intensity channel, and peak power-constrained AWGN channel. For both scenarios, we provide insightful comments on various aspects of the training process, such as stability, sensitivity to initialization.
• Abstract（参考訳）: 近年,深層ニューラルネットワークを用いてサンプルデータからの相互情報を推定する手法が提案されている。 この分類は神経相互情報推定器(neural mutual information estimator)と呼ばれる。 非常に有望な技術ではあるが, 共同最大化フレームワークであるキャパシティ推定の有効性, 実装容易性, 安定性を確立するために, 厳密なベンチマークを付けていない。 本稿では,文献で提案されている能力推定手法を比較し,その有効性に関する実践的視点を提供する。 特に、相互情報ニューラル推定器(MINE)、スムーズな相互情報ローバウンド推定器(SMILE)、有向情報ニューラル推定器(DINE)の性能を調査し、InfoNCEに関する知見を提供する。 我々はこれらのアルゴリズムを,AWGNチャネル,光強度チャネル,ピーク電力制約AWGNチャネルに近づいている入力分布を学習する能力の観点から評価した。 どちらのシナリオでも、安定性、初期化に対する感受性など、トレーニングプロセスのさまざまな側面に関する洞察に富んだコメントを提供します。

関連論文リスト

• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• On the Effective Usage of Priors in RSS-based Localization [56.68864078417909]
  本稿では、受信信号強度(RSS)指紋と畳み込みニューラルネットワークに基づくアルゴリズムLocUNetを提案する。 本稿では,密集市街地における局所化問題について検討する。 まず,LocUNetがRx位置やRxの事前分布を学習し,トレーニングデータから送信者(Tx)アソシエーションの好みを学習し,その性能を評価できることを示す。
  論文  参考訳（メタデータ） (2022-11-28T00:31:02Z)
• Likelihood-Free Parameter Estimation with Neural Bayes Estimators [0.0]
  ニューラルネットワークは、データをパラメータポイント推定にマッピングするニューラルネットワークである。 我々は,この比較的新しい推論ツールに対する統計学者の意識を高め,ユーザフレンドリーなオープンソースソフトウェアを提供することで,その採用を促進することを目的としている。
  論文  参考訳（メタデータ） (2022-08-27T06:58:16Z)
• Look beyond labels: Incorporating functional summary information in Bayesian neural networks [11.874130244353253]
  予測確率に関する要約情報を組み込むための簡単な手法を提案する。 利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。 本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
  論文  参考訳（メタデータ） (2022-07-04T07:06:45Z)
• A Perspective on Neural Capacity Estimation: Viability and Reliability [9.251773744318118]
  文献に提案されているニューラル相互情報推定器 (NMIE) の性能について, キャパシティ推定問題に適用した場合に検討する。 上記のNMIEでは、キャパシティ推定は2つのディープニューラルネットワーク(DNN)に依存している。 我々はこれらのNMIEを, (i) AWGNチャネルのキャパシティ推定と (ii) キャパシティの不明なチャネルと連続的な入力の3つのシナリオでベンチマークする。
  論文  参考訳（メタデータ） (2022-03-22T14:55:31Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
  ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。 我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
  論文  参考訳（メタデータ） (2020-11-17T15:18:38Z)
• Neural Approximate Sufficient Statistics for Implicit Models [34.44047460667847]
  我々は、深層ニューラルネットワークの助けを借りて、データの表現を最大化する相互情報の学習として、十分な統計情報を構築するタスクの枠組みを定めている。 従来のベイズ近似計算と最近のニューラル・サイエンス法の両方にアプローチを適用し,様々なタスクにおける性能を向上する。
  論文  参考訳（メタデータ） (2020-10-20T07:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。