論文の概要: Monotonic Differentiable Sorting Networks

• arxiv url: http://arxiv.org/abs/2203.09630v1
• Date: Thu, 17 Mar 2022 21:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 13:35:42.250545
• Title: Monotonic Differentiable Sorting Networks
• Title（参考訳）: 単調微分型ソーティングネットワーク
• Authors: Felix Petersen, Christian Borgelt, Hilde Kuehne, Oliver Deussen
• Abstract要約: 異なるソートアルゴリズムは、サンプルの順序付けやランク付けが知られている場合にのみ、ソートとランキング管理によるトレーニングを可能にする。 現在の微分可能なソート法の一つの問題は、それらが単調でないことである。 本稿では,異なるソートネットワークにおける単調性を保証する条件スワップ操作の緩和を提案する。
• 参考スコア（独自算出の注目度）: 29.75063301688965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable sorting algorithms allow training with sorting and ranking supervision, where only the ordering or ranking of samples is known. Various methods have been proposed to address this challenge, ranging from optimal transport-based differentiable Sinkhorn sorting algorithms to making classic sorting networks differentiable. One problem of current differentiable sorting methods is that they are non-monotonic. To address this issue, we propose a novel relaxation of conditional swap operations that guarantees monotonicity in differentiable sorting networks. We introduce a family of sigmoid functions and prove that they produce differentiable sorting networks that are monotonic. Monotonicity ensures that the gradients always have the correct sign, which is an advantage in gradient-based optimization. We demonstrate that monotonic differentiable sorting networks improve upon previous differentiable sorting methods.
• Abstract（参考訳）: 差別化可能なソートアルゴリズムは、サンプルの順序付けやランク付けのみが知られているソートとランキング管理によるトレーニングを可能にする。 この課題に対処するために、最適なトランスポートベースの微分可能シンクホーンソートアルゴリズムから古典的なソートネットワークの微分可能化まで、様々な方法が提案されている。 現在の微分可能な分類方法の1つの問題は、それらは単調でないことである。 この問題に対処するために、微分可能なソートネットワークにおける単調性を保証する条件スワップ操作の緩和を提案する。 我々は,シグモイド関数の族を導入し,モノトニックな微分可能なソートネットワークを生成できることを証明する。 単調性は勾配が常に正しい符号を持つことを保証し、勾配に基づく最適化の利点となる。 モノトニック微分可能ソートネットワークは,従来の微分可能ソート手法により改善されることを示す。

関連論文リスト

• Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
  アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。 我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
  論文  参考訳（メタデータ） (2024-10-10T17:10:00Z)
• Generalized Neural Sorting Networks with Error-Free Differentiable Swap Functions [44.71975181739874]
  より抽象的で表現力に富んだ入力に対するソート問題、例えば、マルチ桁画像や画像フラグメントのソート問題をニューラルネットワークを介して検討する。 高次元入力から順序変数への写像を学習するには、ソートネットワークの微分可能性を保証する必要がある。
  論文  参考訳（メタデータ） (2023-10-11T03:47:34Z)
• Diffsurv: Differentiable sorting for censored time-to-event data [0.3303008003874494]
  現在、生存分析における最も一般的なアプローチは、コックスの部分的可能性に基づいている。 我々は、検閲されたタスクを処理するためのDiffsurvと呼ばれる新しい手法を提案する。 実験の結果,Diffsurvは様々なシミュレーションおよび実世界のリスク予測シナリオにおいて,ベースラインの確立に優れていた。
  論文  参考訳（メタデータ） (2023-04-26T14:42:31Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Learning to Hash Naturally Sorts [84.90210592082829]
  そこで我々はNaturely-Sorted Hashing (NSH)を導入し,最終結果のソートによる深層ハッシュモデルのトレーニングを行った。 NSHはサンプルのハッシュコードのハミング距離をソートし、それに従って自己教師付きトレーニングのための潜伏した表現を収集する。 Sorted Noise-Contrastive Estimation (SortedNCE) の新たな損失について述べる。
  論文  参考訳（メタデータ） (2022-01-31T16:19:02Z)
• Differentiable Sorting Networks for Scalable Sorting and Ranking Supervision [19.437400671428737]
  ペアワイズ条件付きスワップ操作を緩和することで,微分可能なソートネットワークを提案する。 ビトニックソートネットワークは,最大1024要素の大規模入力セットに対して安定したトレーニングを実現することができる。
  論文  参考訳（メタデータ） (2021-05-09T20:39:03Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)
• Sparse Sinkhorn Attention [93.88158993722716]
  Sparse Sinkhorn Attentionを提案する。 本稿では,列上の潜在置換を生成するメタソートネットワークを提案する。 ソートシーケンスが与えられた場合、局所ウィンドウのみを用いて準グロバルアテンションを計算することができる。
  論文  参考訳（メタデータ） (2020-02-26T04:18:01Z)
• Fast Differentiable Sorting and Ranking [36.40586857569459]
  我々は、最初の微分可能なソートおよびランキング演算子を$O(n log n)$ time と $O(n)$ space complexity で提案する。 この偉業は、置換の凸包であるペルムタヘドロンへの射影として微分可能作用素を構築し、等方最適化への還元を用いて達成する。
  論文  参考訳（メタデータ） (2020-02-20T17:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。