論文の概要: SoftSort: A Continuous Relaxation for the argsort Operator

• arxiv url: http://arxiv.org/abs/2006.16038v1
• Date: Mon, 29 Jun 2020 13:33:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 13:45:46.379082
• Title: SoftSort: A Continuous Relaxation for the argsort Operator
• Title（参考訳）: softsort: argsort演算子に対する連続緩和
• Authors: Sebastian Prillo and Julian Martin Eisenschlos
• Abstract要約: アーグソート演算子を連続的な緩和で置き換える。 3行のコードで実装でき、最先端のパフォーマンスを実現し、数学的に(実質的に単純化した)推論が容易で、競合するアプローチよりも高速です。 すべての実験と結果を再現するために、コードをオープンソースにしています。
• 参考スコア（独自算出の注目度）: 8.122270502556374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While sorting is an important procedure in computer science, the argsort operator - which takes as input a vector and returns its sorting permutation - has a discrete image and thus zero gradients almost everywhere. This prohibits end-to-end, gradient-based learning of models that rely on the argsort operator. A natural way to overcome this problem is to replace the argsort operator with a continuous relaxation. Recent work has shown a number of ways to do this, but the relaxations proposed so far are computationally complex. In this work we propose a simple continuous relaxation for the argsort operator which has the following qualities: it can be implemented in three lines of code, achieves state-of-the-art performance, is easy to reason about mathematically - substantially simplifying proofs - and is faster than competing approaches. We open source the code to reproduce all of the experiments and results.
• Abstract（参考訳）: ソート処理はコンピュータ科学において重要な手順であるが、argsort演算子はベクトルを入力とし、そのソート置換を返すことで離散画像となり、ほとんどどこでも勾配がゼロとなる。 これにより、argsort演算子に依存するモデルのエンドツーエンドの勾配ベース学習が禁止される。 この問題を解決する自然な方法は、アーグソート作用素を連続緩和に置き換えることである。 最近の研究は様々な方法を示しているが、これまで提案されてきた緩和は計算的に複雑である。 本稿では、3行のコードで実装でき、最先端のパフォーマンスを実現し、数学的に推論しやすく、証明を大幅に単純化し、競合するアプローチよりも高速な、アーグソート演算子の簡単な連続緩和を提案する。 コードをオープンソースにして、すべての実験と結果を再現します。

関連論文リスト

• Automatizing Software Cognitive Complexity Reduction through Integer Linear Programming [1.1970409518725493]
  近年,ソフトウェア認知複雑性の低減を最適化問題としてモデル化し,開発者を支援する手法を提案する。 このアプローチは、停止基準を満たすまでコード抽出操作のシーケンスを列挙する。結果として、コードの認知複雑性を所定のしきい値に減らすことができる最小限のコード抽出操作のシーケンスを返す。
  論文  参考訳（メタデータ） (2024-02-08T10:53:00Z)
• Simple Symmetric Sustainable Sorting -- the greeNsort article [0.0]
  連続した空間で動作する新しい単純なバイナリQuicksortとMergesortアルゴリズムを発見した。 新しいアルゴリズムは理論的な枠組みに適合する: 'Footprint' は異なるRAM要求のアルゴリズムを比較することができる。 以前の'Quicksorts'とは異なり、我々の'Zucksort'、'Zucksort'、'Ducksort'アルゴリズムはCPU効率とタイアダプティビティを最適に結合する。
  論文  参考訳（メタデータ） (2024-02-02T14:21:51Z)
• Fast, Differentiable and Sparse Top-k: a Convex Analysis Perspective [21.6146047576295]
  トップk演算子はスパースベクトルを返し、非ゼロ値は入力の k 最大の値に対応する。 我々はトップk作用素を、置換の凸包であるペルムタヘドロン上の線形プログラムとみなす。 私たちのフレームワークは既存のフレームワークよりもはるかに汎用的であり、例えば、大まかに値を選択するトップk演算子を表現できる。
  論文  参考訳（メタデータ） (2023-02-02T21:32:13Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Efficient algorithms for implementing incremental proximal-point methods [0.3263412255491401]
  機械学習において、モデルトレーニングアルゴリズムは、各計算ステップにおけるトレーニングセットのごく一部を観察する。 いくつかの研究ストリームは、よく知られた近位作用素による勾配よりもコスト関数に関するより多くの情報を活用する試みである。 近似演算子のアルゴリズム効率とソフトウェアモジュール性の両方を達成するために凸双対性理論を利用する新しいアルゴリズムフレームワークを考案する。
  論文  参考訳（メタデータ） (2022-05-03T12:43:26Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Searching for More Efficient Dynamic Programs [61.79535031840558]
  本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。 実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
  論文  参考訳（メタデータ） (2021-09-14T20:52:55Z)
• Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning [85.50033812217254]
  アクター批判法はオフラインの強化学習に広く用いられているが、理論的にはそれほどよく理解されていない。 ペシミズムの原理を自然に取り入れた新しいオフラインアクター批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-19T17:27:29Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Fast Differentiable Sorting and Ranking [36.40586857569459]
  我々は、最初の微分可能なソートおよびランキング演算子を$O(n log n)$ time と $O(n)$ space complexity で提案する。 この偉業は、置換の凸包であるペルムタヘドロンへの射影として微分可能作用素を構築し、等方最適化への還元を用いて達成する。
  論文  参考訳（メタデータ） (2020-02-20T17:11:09Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。