論文の概要: Permutation Learning with Only N Parameters: From SoftSort to Self-Organizing Gaussians

• arxiv url: http://arxiv.org/abs/2503.13051v1
• Date: Mon, 17 Mar 2025 10:55:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 14:56:58.241464
• Title: Permutation Learning with Only N Parameters: From SoftSort to Self-Organizing Gaussians
• Title（参考訳）: Nパラメータのみによる置換学習:SoftSortから自己組織化ガウスへ
• Authors: Kai Uwe Barthel, Florian Barthel, Peter Eisert,
• Abstract要約: Gumbel-Sinkhorn 法は全置換行列を決定するために N のパラメータを必要とする。 SoftSortは、微分可能な1Dソートを可能にするが、多次元データと複雑な置換による課題に直面している。 そこで本研究では,Nパラメータのみを用いて置換を学習し,記憶コストを大幅に削減する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.307669031859568
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sorting and permutation learning are key concepts in optimization and machine learning, especially when organizing high-dimensional data into meaningful spatial layouts. The Gumbel-Sinkhorn method, while effective, requires N*N parameters to determine a full permutation matrix, making it computationally expensive for large datasets. Low-rank matrix factorization approximations reduce memory requirements to 2MN (with M << N), but they still struggle with very large problems. SoftSort, by providing a continuous relaxation of the argsort operator, allows differentiable 1D sorting, but it faces challenges with multidimensional data and complex permutations. In this paper, we present a novel method for learning permutations using only N parameters, which dramatically reduces storage costs. Our approach builds on SoftSort, but extends it by iteratively shuffling the N indices of the elements to be sorted through a separable learning process. This modification significantly improves sorting quality, especially for multidimensional data and complex optimization criteria, and outperforms pure SoftSort. Our method offers improved memory efficiency and scalability compared to existing approaches, while maintaining high-quality permutation learning. Its dramatically reduced memory requirements make it particularly well-suited for large-scale optimization tasks, such as "Self-Organizing Gaussians", where efficient and scalable permutation learning is critical.
• Abstract（参考訳）: ソルティングと置換学習は、特に高次元データを意味のある空間配置に整理する際に、最適化と機械学習において重要な概念である。 Gumbel-Sinkhorn法は有効であるが、完全な置換行列を決定するためにN*Nパラメータを必要とするため、大規模なデータセットでは計算コストがかかる。 低ランク行列分解近似はメモリ要求を2MN(M<<N)に削減するが、それでも大きな問題に悩まされている。 SoftSortは、アーグソート演算子の連続的な緩和を提供することで、微分可能な1Dソートを可能にするが、多次元データと複素置換の課題に直面している。 本稿では,Nパラメータのみを用いた置換学習手法を提案する。 われわれのアプローチはSoftSort上に構築されているが、それを分割可能な学習プロセスを通じてソートする要素のN指標を反復的にシャッフルすることで拡張する。 この修正は、特に多次元データや複雑な最適化基準においてソート品質を大幅に改善し、純粋なSoftSortよりも優れている。 提案手法は,高品質な置換学習を維持しつつ,既存の手法と比較してメモリ効率とスケーラビリティを向上させる。 メモリ要求を劇的に減らし、効率的でスケーラブルな置換学習が不可欠である「自己組織型ガウス」のような大規模最適化タスクに特に適している。

関連論文リスト

• LapSum -- One Method to Differentiate Them All: Ranking, Sorting and Top-k Selection [8.999785769207639]
  本稿では, ソフトランキング, ソフトトップk選択, ソフト順列を含む, 微分可能な順序型演算を構築するための新しい手法を提案する。 我々のアプローチは、Laplace分布の和として定義される関数 LapSum の逆数に対する効率的な閉形式公式を利用する。
  論文  参考訳（メタデータ） (2025-03-08T14:53:36Z)
• Creating Sorted Grid Layouts with Gradient-based Optimization [2.318513554747882]
  本稿では,「無効」な置換行列の生成を確保すること,ベクトル間の類似性を反映したグリッド上の配置を最適化すること,の2つの相反する目標のバランスをとる新しい損失関数を提案する。 提案手法は,従来の手法に比べてソート品質の優れたソートグリッドレイアウトを生成する上で有望な結果を示す。
  論文  参考訳（メタデータ） (2025-03-04T15:49:42Z)
• Rahmani Sort: A Novel Variant of Insertion Sort Algorithm with O(nlogn) Complexity [0.0]
  本稿では,2進探索機構の新たな手法を用いて,前述した左サブアレイへの次のキー項目のソート位置を探索するアルゴリズムを提案する。 その結果,従来の挿入ソートアルゴリズムやマージソートアルゴリズムよりも,新しいアルゴリズムの方が優れた性能を示した。
  論文  参考訳（メタデータ） (2024-02-29T12:38:57Z)
• Generalized Neural Sorting Networks with Error-Free Differentiable Swap Functions [44.71975181739874]
  より抽象的で表現力に富んだ入力に対するソート問題、例えば、マルチ桁画像や画像フラグメントのソート問題をニューラルネットワークを介して検討する。 高次元入力から順序変数への写像を学習するには、ソートネットワークの微分可能性を保証する必要がある。
  論文  参考訳（メタデータ） (2023-10-11T03:47:34Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Automatic and effective discovery of quantum kernels [41.61572387137452]
  量子コンピューティングは、カーネルマシンが量子カーネルを利用してデータ間の類似度を表現できるようにすることで、機械学習モデルを強化することができる。 本稿では,ニューラルアーキテクチャ検索やAutoMLと同じような最適化手法を用いて,この問題に対するアプローチを提案する。 その結果、高エネルギー物理問題に対する我々のアプローチを検証した結果、最良のシナリオでは、手動設計のアプローチに関して、テストの精度を一致または改善できることが示された。
  論文  参考訳（メタデータ） (2022-09-22T16:42:14Z)
• Fast geometric trim fitting using partial incremental sorting and accumulation [29.115335340381765]
  本稿では, 影響を受ける幾何回帰問題におけるロバストなトリムフィッティングの効率向上に寄与するアルゴリズムを提案する。 この手法はクイックソートアルゴリズムに依存し,2つの重要な知見を提示する。 線形嵌合問題に加えて, 閉形式, 非線形エネルギー最小化問題にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-05T16:14:22Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization [111.24899593052851]
  条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。 ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。 1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-09-18T07:08:11Z)
• Batch Bayesian Optimization on Permutations using Acquisition Weighted Kernels [86.11176756341114]
  決定点プロセスに基づく新しい効率的なバッチ取得方法であるLAWを紹介します。 本研究では,理論特性の知見を得るための後悔分析法を提案する。 二次代入などの置換を含むいくつかの標準問題に対する手法を評価する。
  論文  参考訳（メタデータ） (2021-02-26T10:15:57Z)
• Learning to Guide Random Search [111.71167792453473]
  我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。 最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。 本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
  論文  参考訳（メタデータ） (2020-04-25T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。