論文の概要: Generalized Neural Sorting Networks with Error-Free Differentiable Swap Functions

• arxiv url: http://arxiv.org/abs/2310.07174v2
• Date: Thu, 14 Mar 2024 00:39:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 02:32:48.619322
• Title: Generalized Neural Sorting Networks with Error-Free Differentiable Swap Functions
• Title（参考訳）: 誤りのない微分スワップ機能を有する一般化ニューラルソーティングネットワーク
• Authors: Jungtaek Kim, Jeongbeen Yoon, Minsu Cho,
• Abstract要約: より抽象的で表現力に富んだ入力に対するソート問題、例えば、マルチ桁画像や画像フラグメントのソート問題をニューラルネットワークを介して検討する。 高次元入力から順序変数への写像を学習するには、ソートネットワークの微分可能性を保証する必要がある。
• 参考スコア（独自算出の注目度）: 44.71975181739874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sorting is a fundamental operation of all computer systems, having been a long-standing significant research topic. Beyond the problem formulation of traditional sorting algorithms, we consider sorting problems for more abstract yet expressive inputs, e.g., multi-digit images and image fragments, through a neural sorting network. To learn a mapping from a high-dimensional input to an ordinal variable, the differentiability of sorting networks needs to be guaranteed. In this paper we define a softening error by a differentiable swap function, and develop an error-free swap function that holds a non-decreasing condition and differentiability. Furthermore, a permutation-equivariant Transformer network with multi-head attention is adopted to capture dependency between given inputs and also leverage its model capacity with self-attention. Experiments on diverse sorting benchmarks show that our methods perform better than or comparable to baseline methods.
• Abstract（参考訳）: ソーティングは全てのコンピュータシステムの基本的な操作であり、長年にわたって重要な研究トピックであった。 従来のソートアルゴリズムの問題定式化以外にも、より抽象的で表現力のある入力、例えば、マルチ桁画像や画像フラグメントに対するソート問題をニューラルソートネットワークを通じて検討する。 高次元入力から順序変数への写像を学習するには、ソートネットワークの微分可能性を保証する必要がある。 本稿では、微分可能スワップ関数による軟化誤差を定義し、非減少条件と微分可能性を有するエラーフリースワップ関数を開発する。 さらに、マルチヘッドアテンションを持つ変圧器ネットワークを用いて、入力間の依存性を捕捉し、そのモデル容量を自己注意で活用する。 多様なソートベンチマーク実験により,本手法はベースライン法に匹敵する性能を示した。

関連論文リスト

• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Graph Neural Networks with Adaptive Readouts [5.575293536755126]
  異なる領域とグラフ特性にまたがる40以上のデータセットに対して,ニューラルネットワークによる読み出しの有効性を示す。 我々は、近隣の集約数と異なる畳み込み演算子の数に対して、標準読み出しよりも一貫した改善を観察する。
  論文  参考訳（メタデータ） (2022-11-09T15:21:09Z)
• Set Interdependence Transformer: Set-to-Sequence Neural Networks for Permutation Learning and Structure Prediction [6.396288020763144]
  セット・ツー・シーケンス問題は自然言語処理、コンピュータビジョン、構造予測において発生する。 それまでの注意に基づく手法では、n$-次関係を明示的に表すために、セット変換の$n$層を必要とする。 本稿では,集合の置換不変表現を任意の濃度の集合内のその要素に関連付けることのできる,集合間距離変換器と呼ばれる新しいニューラルセット符号化法を提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:46:49Z)
• Monotonic Differentiable Sorting Networks [29.75063301688965]
  異なるソートアルゴリズムは、サンプルの順序付けやランク付けが知られている場合にのみ、ソートとランキング管理によるトレーニングを可能にする。 現在の微分可能なソート法の一つの問題は、それらが単調でないことである。 本稿では,異なるソートネットワークにおける単調性を保証する条件スワップ操作の緩和を提案する。
  論文  参考訳（メタデータ） (2022-03-17T21:51:29Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Differentiable Sorting Networks for Scalable Sorting and Ranking Supervision [19.437400671428737]
  ペアワイズ条件付きスワップ操作を緩和することで,微分可能なソートネットワークを提案する。 ビトニックソートネットワークは,最大1024要素の大規模入力セットに対して安定したトレーニングを実現することができる。
  論文  参考訳（メタデータ） (2021-05-09T20:39:03Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Fast Differentiable Sorting and Ranking [36.40586857569459]
  我々は、最初の微分可能なソートおよびランキング演算子を$O(n log n)$ time と $O(n)$ space complexity で提案する。 この偉業は、置換の凸包であるペルムタヘドロンへの射影として微分可能作用素を構築し、等方最適化への還元を用いて達成する。
  論文  参考訳（メタデータ） (2020-02-20T17:11:09Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。