論文の概要: On Admissible Rank-based Input Normalization Operators

• arxiv url: http://arxiv.org/abs/2512.22587v1
• Date: Sat, 27 Dec 2025 13:28:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.122952
• Title: On Admissible Rank-based Input Normalization Operators
• Title（参考訳）: 許容ランクに基づく入力正規化演算子について
• Authors: Taeyun Kim,
• Abstract要約: ランクベースの入力正規化は、スケールへの堅牢性、モノトーン変換、バッチ・ツー・バッチのばらつきによって評価される。 微分可能なソートとランキング演算子が構造条件を根本的に満たさないことを示す。 ランクベース入力正規化に必要な最小不変性と安定性特性を定式化する3つの公理を提案する。
• 参考スコア（独自算出の注目度）: 0.21756081703275998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rank-based input normalization is a workhorse of modern machine learning, prized for its robustness to scale, monotone transformations, and batch-to-batch variation. In many real systems, the ordering of feature values matters far more than their raw magnitudes - yet the structural conditions that a rank-based normalization operator must satisfy to remain stable under these invariances have never been formally pinned down. We show that widely used differentiable sorting and ranking operators fundamentally fail these criteria. Because they rely on value gaps and batch-level pairwise interactions, they are intrinsically unstable under strictly monotone transformations, shifts in mini-batch composition, and even tiny input perturbations. Crucially, these failures stem from the operators' structural design, not from incidental implementation choices. To address this, we propose three axioms that formalize the minimal invariance and stability properties required of rank-based input normalization. We prove that any operator satisfying these axioms must factor into (i) a feature-wise rank representation and (ii) a scalarization map that is both monotone and Lipschitz-continuous. We then construct a minimal operator that meets these criteria and empirically show that the resulting constraints are non-trivial in realistic setups. Together, our results sharply delineate the design space of valid rank-based normalization operators and formally separate them from existing continuous-relaxation-based sorting methods.
• Abstract（参考訳）: ランクベースの入力正規化は、スケーラビリティの堅牢性、モノトーン変換、バッチ・ツー・バッチのバリエーションによって評価された、現代の機械学習の成果である。 多くの実数系において、特徴値の順序付けは元の等級よりもはるかに重要であるが、ランクベースの正規化作用素が満たさなければならない構造条件は、これらの不変性の下で安定でなければならない。 広く使われている差別化可能なソートとランキング演算子は、これらの基準を根本的に満たさないことを示す。 それらは値ギャップとバッチレベルの対の相互作用に依存しているため、厳密に単調な変換、ミニバッチ組成の変化、さらには小さな入力摂動の下で本質的に不安定である。 重要なことに、これらの失敗は演算子の構造設計によるものであって、偶発的な実装の選択に由来するものではない。 これを解決するために、ランクベースの入力正規化に必要な最小の不変性と安定性特性を形式化する3つの公理を提案する。 これらの公理を満たす任意の作用素が分解しなければならないことを証明する。 (i)特徴級位階の表示及び表示 (ii) 単調かつリプシッツ連続であるスカラー化写像。 次に、これらの基準を満たす最小限の演算子を構築し、現実的な設定において結果の制約が非自明であることを経験的に示す。 この結果から,有効な階数に基づく正規化演算子の設計空間を明確化し,既存の連続回帰に基づくソート法から正式に分離した。

関連論文リスト

• Optimal Regularization Under Uncertainty: Distributional Robustness and Convexity Constraints [9.77322868877488]
  分布的に堅牢な最適正規化のためのフレームワークを導入する。 トレーニング分布の計算と均一な事前計算との間には,ロバストな正則化器がどのように介在するかを示す。
  論文  参考訳（メタデータ） (2025-10-03T19:35:38Z)
• Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning [56.87989363424]
  シフトした後継尺度において,低ランク構造が自然に現れることを示す。 有効な低ランク近似と推定に必要なシフトの量を定量化する。
  論文  参考訳（メタデータ） (2025-09-05T15:48:20Z)
• Identification and Estimation of Simultaneous Equation Models Using Higher-Order Cumulant Restrictions [5.882065571122133]
  線形同時方程式モデルにおける構造パラメータの同定は長年にわたる課題である。 構造パラメータの同定には共分散証明もホワイトニングも必要ないことを示す。 私たちのフレームワークは透過的なオーバーアイデンティティテストを提供します。
  論文  参考訳（メタデータ） (2025-01-12T11:27:39Z)
• Standardizing Structural Causal Models [80.21199731817698]
  ベンチマークアルゴリズムのための内部標準構造因果モデル(iSCM)を提案する。 構成上、iSCMは$operatornameVar$-sortableではない。 また、一般的に使用されるグラフ族に対して$operatornameR2$-sortableでないという経験的証拠も見つかる。
  論文  参考訳（メタデータ） (2024-06-17T14:52:21Z)
• Variance Reduced Halpern Iteration for Finite-Sum Monotone Inclusions [18.086061048484616]
  平衡問題の幅広いクラスをモデル化した有限サム単調包含問題について検討する。 我々の主な貢献は、複雑性の保証を改善するために分散還元を利用する古典的ハルパーン反復の変種である。 我々は、この複雑さが単調なリプシッツ設定では改善できないと論じる。
  論文  参考訳（メタデータ） (2023-10-04T17:24:45Z)
• Representation Equivalent Neural Operators: a Framework for Alias-free Operator Learning [11.11883703395469]
  この研究は、Representation equivalent Neural Operators (ReNO) フレームワークによるニューラル演算子に対する新たな取り組みを提供する。 中心となるのは演算子エイリアスの概念であり、これは神経演算子とその離散表現の不整合を測定する。 我々の研究結果は、異なる離散化やグリッドを扱う際にエイリアシングがエラーを発生させ、重要な連続構造が失われることについて詳述している。
  論文  参考訳（メタデータ） (2023-05-31T14:45:34Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。