論文の概要: LapSum -- One Method to Differentiate Them All: Ranking, Sorting and Top-k Selection

• arxiv url: http://arxiv.org/abs/2503.06242v1
• Date: Sat, 08 Mar 2025 14:53:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:49:44.510849
• Title: LapSum -- One Method to Differentiate Them All: Ranking, Sorting and Top-k Selection
• Title（参考訳）: LapSum -- すべてのテーマを識別する1つの方法:ランク付け、ソーティング、トップk選択
• Authors: Łukasz Struski, Michał B. Bednarczyk, Igor T. Podolak, Jacek Tabor,
• Abstract要約: 本稿では, ソフトランキング, ソフトトップk選択, ソフト順列を含む, 微分可能な順序型演算を構築するための新しい手法を提案する。 我々のアプローチは、Laplace分布の和として定義される関数 LapSum の逆数に対する効率的な閉形式公式を利用する。
• 参考スコア（独自算出の注目度）: 8.999785769207639
• License:
• Abstract: We present a novel technique for constructing differentiable order-type operations, including soft ranking, soft top-k selection, and soft permutations. Our approach leverages an efficient closed-form formula for the inverse of the function LapSum, defined as the sum of Laplace distributions. This formulation ensures low computational and memory complexity in selecting the highest activations, enabling losses and gradients to be computed in $O(n\log{}n)$ time. Through extensive experiments, we demonstrate that our method outperforms state-of-the-art techniques for high-dimensional vectors and large $k$ values. Furthermore, we provide efficient implementations for both CPU and CUDA environments, underscoring the practicality and scalability of our method for large-scale ranking and differentiable ordering problems.
• Abstract（参考訳）: 本稿では, ソフトランキング, ソフトトップk選択, ソフト順列を含む, 微分可能な順序型演算を構築するための新しい手法を提案する。 我々のアプローチは、Laplace分布の和として定義される関数 LapSum の逆数に対する効率的な閉形式公式を利用する。 この定式化により、最高のアクティベーションを選択する際の計算量とメモリの複雑さが低くなり、損失と勾配を$O(n\log{}n)$ timeで計算できる。 大規模な実験により,本手法は高次元ベクトルと大きな$k$の値に対する最先端技術よりも優れていることを示す。 さらに、我々はCPUとCUDA環境の両方に効率的な実装を提供し、大規模ランキング問題と微分可能な順序付け問題に対する本手法の実用性とスケーラビリティを実証した。

関連論文リスト

• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Multistage Stochastic Optimization via Kernels [3.7565501074323224]
  我々は,多段階最適化問題に対する非パラメトリック,データ駆動,トラクタブルアプローチを開発した。 本稿では,提案手法が最適に近い平均性能で決定ルールを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-11T23:19:32Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee [86.05440220344755]
  我々は,非制約のmin-max最適化問題のグローバルなサドル点を求めるために,不正確な正規化ニュートン型手法を提案し,解析する。 提案手法は有界集合内に留まるイテレートを生成し、その反復は制限関数の項で$O(epsilon-2/3)$内の$epsilon$-saddle点に収束することを示す。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• $r-$Adaptive Deep Learning Method for Solving Partial Differential Equations [0.685316573653194]
  本稿では,Deep Neural Network を用いて部分微分方程式を解くための$r-$adaptiveアルゴリズムを提案する。 提案手法は, テンソル積メッシュに制限され, 境界ノードの位置を1次元で最適化し, そこから2次元または3次元メッシュを構築する。
  論文  参考訳（メタデータ） (2022-10-19T21:38:46Z)
• The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
  未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。 我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
  論文  参考訳（メタデータ） (2022-09-27T09:27:29Z)
• Fuzzy Clustering by Hyperbolic Smoothing [0.0]
  本研究では,スムーズな数値手法を用いて,大規模データセットのファジィクラスタを構築する手法を提案する。 この平滑化により、強微分不可能な問題から低次元の制約を伴わずに、最適化の微分可能部分確率に変換することができる。
  論文  参考訳（メタデータ） (2022-07-09T12:40:46Z)
• Big-Step-Little-Step: Efficient Gradient Methods for Objectives with Multiple Scales [45.994415581007054]
  関数 $f : mathbbRd rightarrow mathbbR$ の最小化は、未知の非相互作用な滑らかで凸な函数の和として暗黙的に分解可能である。 そこで我々は,多種多様な条件の最適化問題を効率的に解くために,勾配に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T20:09:12Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。