論文の概要: Differentiable Sorting Networks for Scalable Sorting and Ranking Supervision

• arxiv url: http://arxiv.org/abs/2105.04019v1
• Date: Sun, 9 May 2021 20:39:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 14:31:40.616521
• Title: Differentiable Sorting Networks for Scalable Sorting and Ranking Supervision
• Title（参考訳）: スケーラブルなソートとランキング管理のための微分可能なソートネットワーク
• Authors: Felix Petersen, Christian Borgelt, Hilde Kuehne, Oliver Deussen
• Abstract要約: ペアワイズ条件付きスワップ操作を緩和することで,微分可能なソートネットワークを提案する。 ビトニックソートネットワークは,最大1024要素の大規模入力セットに対して安定したトレーニングを実現することができる。
• 参考スコア（独自算出の注目度）: 19.437400671428737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sorting and ranking supervision is a method for training neural networks end-to-end based on ordering constraints. That is, the ground truth order of sets of samples is known, while their absolute values remain unsupervised. For that, we propose differentiable sorting networks by relaxing their pairwise conditional swap operations. To address the problems of vanishing gradients and extensive blurring that arise with larger numbers of layers, we propose mapping activations to regions with moderate gradients. We consider odd-even as well as bitonic sorting networks, which outperform existing relaxations of the sorting operation. We show that bitonic sorting networks can achieve stable training on large input sets of up to 1024 elements.
• Abstract（参考訳）: ソーティングとランキング管理は、注文制約に基づいてニューラルネットワークをエンドツーエンドにトレーニングする方法である。 すなわち、サンプルの集合の基底真順序は知られており、その絶対値は教師なしのままである。 そこで我々は,ペアワイズ条件付きスワップ操作を緩和することで,微分可能なソートネットワークを提案する。 多数の層で生じる勾配の消失と広範囲なぼかしの問題に対処するため,適度な勾配を持つ領域への写像活性化を提案する。 我々はオッズ偶数とビトニックソートネットワークを考慮し,既存のソート操作の緩和を上回っている。 ビトニックソートネットワークは,最大1024要素の大規模入力セットに対して安定したトレーニングを実現することができる。

関連論文リスト

• Generalized Neural Sorting Networks with Error-Free Differentiable Swap Functions [44.71975181739874]
  より抽象的で表現力に富んだ入力に対するソート問題、例えば、マルチ桁画像や画像フラグメントのソート問題をニューラルネットワークを介して検討する。 高次元入力から順序変数への写像を学習するには、ソートネットワークの微分可能性を保証する必要がある。
  論文  参考訳（メタデータ） (2023-10-11T03:47:34Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Monotonic Differentiable Sorting Networks [29.75063301688965]
  異なるソートアルゴリズムは、サンプルの順序付けやランク付けが知られている場合にのみ、ソートとランキング管理によるトレーニングを可能にする。 現在の微分可能なソート法の一つの問題は、それらが単調でないことである。 本稿では,異なるソートネットワークにおける単調性を保証する条件スワップ操作の緩和を提案する。
  論文  参考訳（メタデータ） (2022-03-17T21:51:29Z)
• Learning to Hash Naturally Sorts [84.90210592082829]
  そこで我々はNaturely-Sorted Hashing (NSH)を導入し,最終結果のソートによる深層ハッシュモデルのトレーニングを行った。 NSHはサンプルのハッシュコードのハミング距離をソートし、それに従って自己教師付きトレーニングのための潜伏した表現を収集する。 Sorted Noise-Contrastive Estimation (SortedNCE) の新たな損失について述べる。
  論文  参考訳（メタデータ） (2022-01-31T16:19:02Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)
• Deep Attentive Ranking Networks for Learning to Order Sentences [31.70737249775046]
  本稿では,1段落の文の順序付けを学習するための注意に基づく格付けフレームワークを提案する。 本フレームワークは,双方向文エンコーダと自己認識型トランスフォーマネットワーク上に構築されている。 ポイントワイド、ペアワイド、リストワイドランキングなど、さまざまなランキングベースの損失関数を使用したシームレスなトレーニングを可能にする。
  論文  参考訳（メタデータ） (2019-12-31T19:54:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。