論文の概要: Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities

• arxiv url: http://arxiv.org/abs/2111.08851v1
• Date: Wed, 17 Nov 2021 01:10:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 13:49:30.598380
• Title: Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities
• Title（参考訳）: 条件付き確率に基づくランク整合順序回帰のためのディープニューラルネットワーク
• Authors: Xintong Shi, Wenzhi Cao, Sebastian Raschka
• Abstract要約: 本稿では,ニューラルネットワークの完全連結出力層における重み付け制約を必要としないランク一貫性のある順序回帰法を提案する。 各種データセットを用いた実験により,提案手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 3.867363075280544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent times, deep neural networks achieved outstanding predictive performance on various classification and pattern recognition tasks. However, many real-world prediction problems have ordinal response variables, and this ordering information is ignored by conventional classification losses such as the multi-category cross-entropy. Ordinal regression methods for deep neural networks address this. One such method is the CORAL method, which is based on an earlier binary label extension framework and achieves rank consistency among its output layer tasks by imposing a weight-sharing constraint. However, while earlier experiments showed that CORAL's rank consistency is beneficial for performance, the weight-sharing constraint could severely restrict the expressiveness of a deep neural network. In this paper, we propose an alternative method for rank-consistent ordinal regression that does not require a weight-sharing constraint in a neural network's fully connected output layer. We achieve this rank consistency by a novel training scheme using conditional training sets to obtain the unconditional rank probabilities through applying the chain rule for conditional probability distributions. Experiments on various datasets demonstrate the efficacy of the proposed method to utilize the ordinal target information, and the absence of the weight-sharing restriction improves the performance substantially compared to the CORAL reference approach.
• Abstract（参考訳）: 近年、ディープニューラルネットワークは様々な分類やパターン認識タスクにおいて優れた予測性能を達成している。 しかし、実世界の多くの予測問題は順序応答変数を持ち、この順序情報は多カテゴリークロスエントロピーのような従来の分類損失によって無視される。 ディープニューラルネットワークのための順序回帰手法がこれに対処する。 そのような手法の1つは、初期のバイナリラベル拡張フレームワークに基づくCORAL法であり、重み付け制約を課すことで出力層タスク間のランク一貫性を実現する。 しかしながら、以前の実験では、コーラルのランク一貫性がパフォーマンスに有益であることを示していたが、重み共有制約はディープニューラルネットワークの表現性を厳しく制限する可能性がある。 本稿では,ニューラルネットワークの完全連結出力層において重み共有制約を必要としない,ランク整合順序回帰の代替手法を提案する。 条件付きトレーニングセットを用いた新しい学習方式により,条件付き確率分布の連鎖則を適用し,無条件のランク確率を求める。 各種データセットを用いた実験により,本手法の有効性が示され,重み共有制限がないことにより,サンゴ基準法に比べて性能が大幅に向上した。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Bayesian Layer Graph Convolutioanl Network for Hyperspetral Image Classification [24.91896527342631]
  グラフ畳み込みネットワーク(GCN)ベースのモデルは、素晴らしいパフォーマンスを示している。 点推定に基づくディープラーニングフレームワークは、一般化が低く、分類結果の不確実性を定量化できない。 本稿では,点推定に基づくニューラルネットワークへの挿入層としてベイズ的アイデアを用いたベイズ的層を提案する。 HSIデータセットのサンプル不均衡問題を解決するためにGAN(Generative Adversarial Network)が構築されている。
  論文  参考訳（メタデータ） (2022-11-14T12:56:56Z)
• Compare Where It Matters: Using Layer-Wise Regularization To Improve Federated Learning on Heterogeneous Data [0.0]
  フェデレートラーニング(Federated Learning)は、分散データ上でニューラルネットワークをトレーニングする方法として広く採用されている。 主な制限は、データが均一に分散されたときに発生するパフォーマンス劣化である。 本稿では,様々なディープラーニングタスクにおいて,従来の最先端手法よりも優れたパフォーマンスを実現するフレームワークであるFedCKAを紹介する。
  論文  参考訳（メタデータ） (2021-12-01T10:46:13Z)
• Universally Rank Consistent Ordinal Regression in Neural Networks [4.462334751640166]
  最近の手法では、順序回帰を一連の拡張二分分類サブタスクに変換する方法が採用されている。 ここでは、サブタスク確率がマルコフ連鎖を形成することを示す。 我々は、ニューラルネットワークアーキテクチャを簡単に修正してこの事実を活用する方法を示し、それによって予測を普遍的に一貫したランクに制限する。
  論文  参考訳（メタデータ） (2021-10-14T15:44:08Z)
• Deep Ordinal Regression with Label Diversity [19.89482062012177]
  本稿では,複数の離散データ表現を同時に使用することで,ニューラルネットワーク学習を改善することを提案する。 我々のアプローチはエンドツーエンドで微分可能であり、従来の学習方法への単純な拡張として追加することができる。
  論文  参考訳（メタデータ） (2020-06-29T08:23:43Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。