論文の概要: Deep Neural Networks for Rank-Consistent Ordinal Regression Based On
Conditional Probabilities
- arxiv url: http://arxiv.org/abs/2111.08851v5
- Date: Thu, 1 Jun 2023 00:40:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-03 02:23:14.733403
- Title: Deep Neural Networks for Rank-Consistent Ordinal Regression Based On
Conditional Probabilities
- Title（参考訳）: 条件付き確率に基づくランク整合順序回帰のためのディープニューラルネットワーク
- Authors: Xintong Shi, Wenzhi Cao, Sebastian Raschka
- Abstract要約: ディープニューラルネットワークの正規回帰法は、順序応答変数に対処する。
重み付け制約を課すことで出力層タスク間のランク一貫性を実現する。
本稿では,この制限を伴わないランク一貫性の順序回帰法を提案する。
- 参考スコア（独自算出の注目度）: 3.093890460224435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent times, deep neural networks achieved outstanding predictive
performance on various classification and pattern recognition tasks. However,
many real-world prediction problems have ordinal response variables, and this
ordering information is ignored by conventional classification losses such as
the multi-category cross-entropy. Ordinal regression methods for deep neural
networks address this. One such method is the CORAL method, which is based on
an earlier binary label extension framework and achieves rank consistency among
its output layer tasks by imposing a weight-sharing constraint. However, while
earlier experiments showed that CORAL's rank consistency is beneficial for
performance, it is limited by a weight-sharing constraint in a neural network's
fully connected output layer, which may restrict the expressiveness and
capacity of a network trained using CORAL. We propose a new method for
rank-consistent ordinal regression without this limitation. Our rank-consistent
ordinal regression framework (CORN) achieves rank consistency by a novel
training scheme. This training scheme uses conditional training sets to obtain
the unconditional rank probabilities through applying the chain rule for
conditional probability distributions. Experiments on various datasets
demonstrate the efficacy of the proposed method to utilize the ordinal target
information, and the absence of the weight-sharing restriction improves the
performance substantially compared to the CORAL reference approach.
Additionally, the suggested CORN method is not tied to any specific
architecture and can be utilized with any deep neural network classifier to
train it for ordinal regression tasks.
- Abstract（参考訳）: 近年、ディープニューラルネットワークは様々な分類やパターン認識タスクにおいて優れた予測性能を達成している。
しかし、実世界の多くの予測問題は順序応答変数を持ち、この順序情報は多カテゴリークロスエントロピーのような従来の分類損失によって無視される。
ディープニューラルネットワークのための順序回帰手法がこれに対処する。
そのような手法の1つは、初期のバイナリラベル拡張フレームワークに基づくCORAL法であり、重み付け制約を課すことで出力層タスク間のランク一貫性を実現する。
しかし、以前の実験では、コーラルのランク一貫性は性能に有益であるが、ニューラルネットワークの完全連結出力層における重み共有制約によって制限され、コーラルで訓練されたネットワークの表現力と能力を制限する可能性がある。
本稿では,この制限を伴わないランク一貫性の順序回帰法を提案する。
ランク整合順序回帰フレームワーク(corn)は,新しいトレーニングスキームによってランク一貫性を実現する。
条件付き確率分布の連鎖規則を適用することにより、条件付きトレーニングセットを用いて無条件のランク確率を得る。
各種データセットを用いた実験により,本手法の有効性が示され,重み共有制限がないことにより,サンゴ基準法に比べて性能が大幅に向上した。
さらに、推奨されるコーン法は特定のアーキテクチャに縛られず、任意のディープニューラルネットワーク分類器を使って順序回帰タスクを訓練することができる。
関連論文リスト
- Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳（メタデータ） (2023-12-25T18:51:23Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Bayesian Layer Graph Convolutioanl Network for Hyperspetral Image
Classification [24.91896527342631]
グラフ畳み込みネットワーク(GCN)ベースのモデルは、素晴らしいパフォーマンスを示している。
点推定に基づくディープラーニングフレームワークは、一般化が低く、分類結果の不確実性を定量化できない。
本稿では,点推定に基づくニューラルネットワークへの挿入層としてベイズ的アイデアを用いたベイズ的層を提案する。
HSIデータセットのサンプル不均衡問題を解決するためにGAN(Generative Adversarial Network)が構築されている。
論文 参考訳（メタデータ） (2022-11-14T12:56:56Z) - Compare Where It Matters: Using Layer-Wise Regularization To Improve
Federated Learning on Heterogeneous Data [0.0]
フェデレートラーニング(Federated Learning)は、分散データ上でニューラルネットワークをトレーニングする方法として広く採用されている。
主な制限は、データが均一に分散されたときに発生するパフォーマンス劣化である。
本稿では,様々なディープラーニングタスクにおいて,従来の最先端手法よりも優れたパフォーマンスを実現するフレームワークであるFedCKAを紹介する。
論文 参考訳（メタデータ） (2021-12-01T10:46:13Z) - Universally Rank Consistent Ordinal Regression in Neural Networks [4.462334751640166]
最近の手法では、順序回帰を一連の拡張二分分類サブタスクに変換する方法が採用されている。
ここでは、サブタスク確率がマルコフ連鎖を形成することを示す。
我々は、ニューラルネットワークアーキテクチャを簡単に修正してこの事実を活用する方法を示し、それによって予測を普遍的に一貫したランクに制限する。
論文 参考訳（メタデータ） (2021-10-14T15:44:08Z) - Deep Ordinal Regression with Label Diversity [19.89482062012177]
本稿では,複数の離散データ表現を同時に使用することで,ニューラルネットワーク学習を改善することを提案する。
我々のアプローチはエンドツーエンドで微分可能であり、従来の学習方法への単純な拡張として追加することができる。
論文 参考訳（メタデータ） (2020-06-29T08:23:43Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。