論文の概要: Permutation Learning with Only N Parameters: From SoftSort to Self-Organizing Gaussians
- arxiv url: http://arxiv.org/abs/2503.13051v1
- Date: Mon, 17 Mar 2025 10:55:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 16:00:42.718921
- Title: Permutation Learning with Only N Parameters: From SoftSort to Self-Organizing Gaussians
- Title（参考訳）: Nパラメータのみによる置換学習:SoftSortから自己組織化ガウスへ
- Authors: Kai Uwe Barthel, Florian Barthel, Peter Eisert,
- Abstract要約: Gumbel-Sinkhorn 法は全置換行列を決定するために N のパラメータを必要とする。
SoftSortは、微分可能な1Dソートを可能にするが、多次元データと複雑な置換による課題に直面している。
そこで本研究では,Nパラメータのみを用いて置換を学習し,記憶コストを大幅に削減する手法を提案する。
- 参考スコア（独自算出の注目度）: 2.307669031859568
- License:
- Abstract: Sorting and permutation learning are key concepts in optimization and machine learning, especially when organizing high-dimensional data into meaningful spatial layouts. The Gumbel-Sinkhorn method, while effective, requires N*N parameters to determine a full permutation matrix, making it computationally expensive for large datasets. Low-rank matrix factorization approximations reduce memory requirements to 2MN (with M << N), but they still struggle with very large problems. SoftSort, by providing a continuous relaxation of the argsort operator, allows differentiable 1D sorting, but it faces challenges with multidimensional data and complex permutations. In this paper, we present a novel method for learning permutations using only N parameters, which dramatically reduces storage costs. Our approach builds on SoftSort, but extends it by iteratively shuffling the N indices of the elements to be sorted through a separable learning process. This modification significantly improves sorting quality, especially for multidimensional data and complex optimization criteria, and outperforms pure SoftSort. Our method offers improved memory efficiency and scalability compared to existing approaches, while maintaining high-quality permutation learning. Its dramatically reduced memory requirements make it particularly well-suited for large-scale optimization tasks, such as "Self-Organizing Gaussians", where efficient and scalable permutation learning is critical.
- Abstract（参考訳）: ソルティングと置換学習は、特に高次元データを意味のある空間配置に整理する際に、最適化と機械学習において重要な概念である。
Gumbel-Sinkhorn法は有効であるが、完全な置換行列を決定するためにN*Nパラメータを必要とするため、大規模なデータセットでは計算コストがかかる。
低ランク行列分解近似はメモリ要求を2MN(M<<N)に削減するが、それでも大きな問題に悩まされている。
SoftSortは、アーグソート演算子の連続的な緩和を提供することで、微分可能な1Dソートを可能にするが、多次元データと複素置換の課題に直面している。
本稿では,Nパラメータのみを用いた置換学習手法を提案する。
われわれのアプローチはSoftSort上に構築されているが、それを分割可能な学習プロセスを通じてソートする要素のN指標を反復的にシャッフルすることで拡張する。
この修正は、特に多次元データや複雑な最適化基準においてソート品質を大幅に改善し、純粋なSoftSortよりも優れている。
提案手法は,高品質な置換学習を維持しつつ,既存の手法と比較してメモリ効率とスケーラビリティを向上させる。
メモリ要求を劇的に減らし、効率的でスケーラブルな置換学習が不可欠である「自己組織型ガウス」のような大規模最適化タスクに特に適している。
関連論文リスト
- Rahmani Sort: A Novel Variant of Insertion Sort Algorithm with O(nlogn) Complexity [0.0]
本稿では,2進探索機構の新たな手法を用いて,前述した左サブアレイへの次のキー項目のソート位置を探索するアルゴリズムを提案する。
その結果,従来の挿入ソートアルゴリズムやマージソートアルゴリズムよりも,新しいアルゴリズムの方が優れた性能を示した。
論文 参考訳（メタデータ） (2024-02-29T12:38:57Z) - Generalized Neural Sorting Networks with Error-Free Differentiable Swap Functions [44.71975181739874]
より抽象的で表現力に富んだ入力に対するソート問題、例えば、マルチ桁画像や画像フラグメントのソート問題をニューラルネットワークを介して検討する。
高次元入力から順序変数への写像を学習するには、ソートネットワークの微分可能性を保証する必要がある。
論文 参考訳（メタデータ） (2023-10-11T03:47:34Z) - Fast geometric trim fitting using partial incremental sorting and
accumulation [29.115335340381765]
本稿では, 影響を受ける幾何回帰問題におけるロバストなトリムフィッティングの効率向上に寄与するアルゴリズムを提案する。
この手法はクイックソートアルゴリズムに依存し,2つの重要な知見を提示する。
線形嵌合問題に加えて, 閉形式, 非線形エネルギー最小化問題にも適用可能であることを示す。
論文 参考訳（メタデータ） (2022-09-05T16:14:22Z) - Permutation Invariant Representations with Applications to Graph Deep
Learning [8.403227482145297]
本稿では、任意の任意の列列置換が与えられた行列によって生成される商空間のユークリッド埋め込みについて述べる。
ほぼ至るところで、最小冗長性と計算コストの低いインジェクティブスキームを実装できる。
論文 参考訳（メタデータ） (2022-03-14T23:13:59Z) - Discovering Non-monotonic Autoregressive Orderings with Variational
Inference [67.27561153666211]
我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。
エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。
言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
論文 参考訳（メタデータ） (2021-10-27T16:08:09Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Batch Bayesian Optimization on Permutations using Acquisition Weighted
Kernels [86.11176756341114]
決定点プロセスに基づく新しい効率的なバッチ取得方法であるLAWを紹介します。
本研究では,理論特性の知見を得るための後悔分析法を提案する。
二次代入などの置換を含むいくつかの標準問題に対する手法を評価する。
論文 参考訳（メタデータ） (2021-02-26T10:15:57Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳（メタデータ） (2020-04-25T19:21:14Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳（メタデータ） (2020-03-18T13:07:51Z) - Sparse Sinkhorn Attention [93.88158993722716]
Sparse Sinkhorn Attentionを提案する。
本稿では,列上の潜在置換を生成するメタソートネットワークを提案する。
ソートシーケンスが与えられた場合、局所ウィンドウのみを用いて準グロバルアテンションを計算することができる。
論文 参考訳（メタデータ） (2020-02-26T04:18:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。