論文の概要: Universally Rank Consistent Ordinal Regression in Neural Networks

• arxiv url: http://arxiv.org/abs/2110.07470v1
• Date: Thu, 14 Oct 2021 15:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-10-15 14:41:06.760644
• Title: Universally Rank Consistent Ordinal Regression in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける一貫した順序回帰
• Authors: Garrett Jenkinson, Kia Khezeli, Gavin R. Oliver, John Kalantari, Eric W. Klee
• Abstract要約: 最近の手法では、順序回帰を一連の拡張二分分類サブタスクに変換する方法が採用されている。 ここでは、サブタスク確率がマルコフ連鎖を形成することを示す。 我々は、ニューラルネットワークアーキテクチャを簡単に修正してこの事実を活用する方法を示し、それによって予測を普遍的に一貫したランクに制限する。
• 参考スコア（独自算出の注目度）: 4.462334751640166
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite the pervasiveness of ordinal labels in supervised learning, it remains common practice in deep learning to treat such problems as categorical classification using the categorical cross entropy loss. Recent methods attempting to address this issue while respecting the ordinal structure of the labels have resorted to converting ordinal regression into a series of extended binary classification subtasks. However, the adoption of such methods remains inconsistent due to theoretical and practical limitations. Here we address these limitations by demonstrating that the subtask probabilities form a Markov chain. We show how to straightforwardly modify neural network architectures to exploit this fact and thereby constrain predictions to be universally rank consistent. We furthermore prove that all rank consistent solutions can be represented within this formulation. Using diverse benchmarks and the real-world application of a specialized recurrent neural network for COVID-19 prognosis, we demonstrate the practical superiority of this method versus the current state-of-the-art. The method is open sourced as user-friendly PyTorch and TensorFlow packages.
• Abstract（参考訳）: 教師付き学習における順序ラベルの広さにもかかわらず、カテゴリー横断エントロピー損失を用いた分類分類などの問題を扱うことは深層学習において一般的である。 ラベルの順序構造を尊重しながらこの問題に対処しようとする最近の手法は、順序回帰を一連の拡張二分分類サブタスクに変換することに頼っている。 しかし、理論的・実践的な制約により、そのような手法の採用は相容れないままである。 ここでは、サブタスク確率がマルコフ連鎖を形成することを示すことでこれらの制限に対処する。 ニューラルネットワークのアーキテクチャを手軽に修正してこの事実を生かす方法を示し、予測を普遍的にランク付けできるように制約する。 さらに、全てのランク整合解をこの定式化内で表現できることを証明できる。 多様なベンチマークと、新型コロナウイルスの予後のための特殊なリカレントニューラルネットワークの現実的な応用を用いて、本手法の実用的優位性を現在の最先端技術と比較した。 このメソッドは、ユーザフレンドリーなPyTorchとTensorFlowパッケージとしてオープンソース化されている。

関連論文リスト

• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Regularization-based Pruning of Irrelevant Weights in Deep Neural Architectures [0.0]
  本稿では,無関係な重みを識別し,そのノルムを選択的に縮小する正規化手法を用いて,スパース神経トポロジを学習する手法を提案する。 提案手法を画像分類と自然言語生成のタスクで検証し,スパーシティとメトリクスの両面から比較結果を得た。
  論文  参考訳（メタデータ） (2022-04-11T09:44:16Z)
• Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities [3.093890460224435]
  ディープニューラルネットワークの正規回帰法は、順序応答変数に対処する。 重み付け制約を課すことで出力層タスク間のランク一貫性を実現する。 本稿では,この制限を伴わないランク一貫性の順序回帰法を提案する。
  論文  参考訳（メタデータ） (2021-11-17T01:10:23Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Asymptotics of Network Embeddings Learned via Subsampling [4.23373349945751]
  本研究では,ノード2vecのようなサブサンプリング手法を用いて,単一の統一フレームワークへの表現手法について検討する。 これは、埋め込みベクトルが何を表現し、これらのメソッドが下流のタスクでいかにうまく機能するかを理解するための理論的基盤を提供する。 特に、一般的に使用される損失関数は、Fisher整合性の欠如などの欠点を引き起こす可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-07-06T02:54:53Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Deep Ordinal Regression with Label Diversity [19.89482062012177]
  本稿では,複数の離散データ表現を同時に使用することで,ニューラルネットワーク学習を改善することを提案する。 我々のアプローチはエンドツーエンドで微分可能であり、従来の学習方法への単純な拡張として追加することができる。
  論文  参考訳（メタデータ） (2020-06-29T08:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。