論文の概要: Stochastic Mutual Information Gradient Estimation for Dimensionality Reduction Networks

• arxiv url: http://arxiv.org/abs/2105.00191v1
• Date: Sat, 1 May 2021 08:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 14:13:26.025105
• Title: Stochastic Mutual Information Gradient Estimation for Dimensionality Reduction Networks
• Title（参考訳）: 次元還元ネットワークにおける確率的相互情報勾配推定
• Authors: Ozan Ozdenizci, Deniz Erdogmus
• Abstract要約: エンドツーエンドのニューラルネットワークトレーニングアプローチとして,情報理論的特徴変換プロトコルを導入する。 本稿では,相互情報勾配の推定に基づく次元還元ネットワーク(MMINET)のトレーニング手法を提案する。 本手法を高次元生物データセットに適用して実験的に評価し,従来の特徴選択アルゴリズムと関連付ける。
• 参考スコア（独自算出の注目度）: 11.634729459989996
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Feature ranking and selection is a widely used approach in various applications of supervised dimensionality reduction in discriminative machine learning. Nevertheless there exists significant evidence on feature ranking and selection algorithms based on any criterion leading to potentially sub-optimal solutions for class separability. In that regard, we introduce emerging information theoretic feature transformation protocols as an end-to-end neural network training approach. We present a dimensionality reduction network (MMINet) training procedure based on the stochastic estimate of the mutual information gradient. The network projects high-dimensional features onto an output feature space where lower dimensional representations of features carry maximum mutual information with their associated class labels. Furthermore, we formulate the training objective to be estimated non-parametrically with no distributional assumptions. We experimentally evaluate our method with applications to high-dimensional biological data sets, and relate it to conventional feature selection algorithms to form a special case of our approach.
• Abstract（参考訳）: 特徴ランク付けと選択は、識別機械学習における教師付き次元減少の様々な応用において広く用いられているアプローチである。 それにもかかわらず、任意の基準に基づく特徴ランク付けと選択アルゴリズムには、クラス分離可能性の最適化ソリューションにつながる可能性のある重要な証拠が存在する。 その上で、エンドツーエンドニューラルネットワークトレーニングアプローチとして、情報理論的特徴変換プロトコルを新たに導入する。 本稿では,相互情報勾配の確率的推定に基づく次元減少ネットワーク(MMINET)のトレーニング手法を提案する。 ネットワークは、特徴の低次元表現が関連するクラスラベルとの最大相互情報を運ぶ出力特徴空間に高次元特徴を投影する。 さらに,非パラメトリックに推定されるトレーニング目標を分布仮定なしで定式化する。 本手法を高次元生物データセットに適用して実験的に評価し,従来の特徴選択アルゴリズムと関連づけて,この手法の特別な場合を定式化する。

関連論文リスト

• Deep Metric Learning for Computer Vision: A Brief Overview [4.980117530293724]
  深層ニューラルネットワークを最適化する目的関数は、入力データの強化された特徴表現を作成する上で重要な役割を果たす。 Deep Metric Learningは、データサンプル間の類似度を測定する方法の開発を目指している。 本稿では、この領域における最近の進歩の概要と最先端のDeep Metric Learningアプローチについて論じる。
  論文  参考訳（メタデータ） (2023-12-01T21:53:36Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Federated Representation Learning via Maximal Coding Rate Reduction [109.26332878050374]
  本稿では,複数のクライアントに分散したデータセットから低次元表現を学習する手法を提案する。 提案手法はFLOWと呼ばれ, MCR2を選択の対象とし, その結果, クラス間判別とクラス内圧縮の両方が可能な表現が得られた。
  論文  参考訳（メタデータ） (2022-10-01T15:43:51Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Low-rank Dictionary Learning for Unsupervised Feature Selection [11.634317251468968]
  低ランク表現に辞書学習のアイデアを適用することで、教師なしの新たな特徴選択手法を導入する。 非教師付き特徴選択のための統一目的関数は、$ell_2,1$-norm正規化によってスパースな方法で提案される。 実験の結果,提案手法は最先端のアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-06-21T13:39:10Z)
• Joint Dimensionality Reduction for Separable Embedding Estimation [43.22422640265388]
  異なるソースからのデータの低次元埋め込みは、機械学習、マルチメディア情報検索、バイオインフォマティクスにおいて重要な役割を果たす。 異なるモダリティのデータや異なる種類の実体からのデータを表す2つの特徴ベクトルに対して,線形埋め込みを共同で学習する,教師付き次元還元法を提案する。 提案手法は,他の次元減少法と比較し,遺伝子・退化関連を予測するための両線形回帰の最先端手法と比較した。
  論文  参考訳（メタデータ） (2021-01-14T08:48:37Z)
• Divergence Regulated Encoder Network for Joint Dimensionality Reduction and Classification [2.989889278970106]
  新規なヒストグラムニューラルネットワークを用いて関節寸法低減および分類を行う方法を検討する。 一般的な次元削減手法である t-Distributed Neighbor Embedding (t-SNE) により,本手法は低次元埋め込み空間における試料に計算された分類損失を組み込む。 以上の結果から,提案手法は分類性能を維持・/または向上させ,他のアプリケーションに役立つかもしれないニューラルネットワークの特徴を明らかにする。
  論文  参考訳（メタデータ） (2020-12-31T17:39:02Z)
• Feature space approximation for kernel-based supervised learning [2.653409741248232]
  目標は、トレーニングデータのサイズを減らし、ストレージ消費と計算の複雑さを減らすことだ。 完全トレーニングデータセットを含むデータ駆動予測の計算と比較して,大幅な改善が示された。 本手法は, 画像認識, システム識別, 海洋時系列解析などの異なる応用領域の分類と回帰問題に適用する。
  論文  参考訳（メタデータ） (2020-11-25T11:23:58Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。