論文の概要: ReLU-Based and DNN-Based Generalized Maximum Score Estimators

• arxiv url: http://arxiv.org/abs/2511.19121v1
• Date: Mon, 24 Nov 2025 13:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.230425
• Title: ReLU-Based and DNN-Based Generalized Maximum Score Estimators
• Title（参考訳）: ReLUおよびDNNに基づく最大スコア推定器
• Authors: Xiaohong Chen, Wayne Yuan Gao, Likang Wen,
• Abstract要約: 本稿では,修正線形単位(ReLU)関数の合成を用いた最大スコア推定器の新たな定式化を提案する。 ReLU関数はLipschitzであるため、新しいReLUベースの最大スコア基準関数は、かなり簡単に最適化できる。 さらに、深層ニューラルネットワーク(DNN)アーキテクチャにおいて、RMSのさらなる再構成を特別な層として用いた代替推定器を提案する。
• 参考スコア（独自算出の注目度）: 2.4748589704754758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new formulation of the maximum score estimator that uses compositions of rectified linear unit (ReLU) functions, instead of indicator functions as in Manski (1975,1985), to encode the sign alignment restrictions. Since the ReLU function is Lipschitz, our new ReLU-based maximum score criterion function is substantially easier to optimize using standard gradient-based optimization pacakges. We also show that our ReLU-based maximum score (RMS) estimator can be generalized to an umbrella framework defined by multi-index single-crossing (MISC) conditions, while the original maximum score estimator cannot be applied. We establish the $n^{-s/(2s+1)}$ convergence rate and asymptotic normality for the RMS estimator under order-$s$ Holder smoothness. In addition, we propose an alternative estimator using a further reformulation of RMS as a special layer in a deep neural network (DNN) architecture, which allows the estimation procedure to be implemented via state-of-the-art software and hardware for DNN.
• Abstract（参考訳）: 本稿では,マンスキー (1975, 1985) のような指標関数の代わりに正則線形単位 (ReLU) 関数の合成を用いて,符号アライメント制限を符号化する最大スコア推定器の新たな定式化を提案する。 ReLU関数はリプシッツであるため、我々の新しいReLUベースの最大スコア基準関数は、標準勾配に基づく最適化パタージュを用いて、かなり容易に最適化できる。 また,ReLUに基づく最大スコア推定器をマルチインデックス・シングルクロス(MISC)条件で定義した傘・フレームワークに一般化することができ,元の最大スコア推定器を適用できないことを示す。 我々は、RMS推定器に対する$n^{-s/(2s+1)}$収束率と漸近正規性を確立する。 さらに, 深層ニューラルネットワーク(DNN)アーキテクチャにおいて, RMSのさらなる再構成を特別な層として用いた代替推定器を提案する。

関連論文リスト

• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [9.788112471288057]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 凸プログラミング問題に対する最適パラメトリック解を特徴付ける。 必要かつ十分な条件を導出することにより、両スキームがグローバルな最適解を保証できることが示される。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models [45.72323731094864]
  Low-Rank Adaptation (LoRA) は、パラメータ効率のよい微細チューニング(PEFT)法として人気がある。 本研究では,各勾配ステップに$r倍r$プレコンディショナーを導入することにより,LoRAトレーニングの強化について検討する。
  論文  参考訳（メタデータ） (2024-02-04T05:05:43Z)
• Local Lipschitz Constant Computation of ReLU-FNNs: Upper Bound Computation with Exactness Verification [3.021446475031579]
  本稿では, フィードフォワードニューラルネットワーク(FNN)の局所リプシッツ定数の補正線形単位(ReLU)の活性化関数を用いた計算について述べる。 ReLUの挙動を捉える乗算器を用いた標準的な手順に従うことにより、まず局所リプシッツ定数の上界問題を半定値プログラミング問題(SDP)に還元する。 本稿では,入力出力特性が元のFNNと同一である縮小順序モデルを構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T09:37:16Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
  ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。 MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。 我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:13:05Z)
• Langevin dynamics based algorithm e-TH$\varepsilon$O POULA for stochastic optimization problems with discontinuous stochastic gradient [6.563379950720334]
  我々は,不連続勾配による最適化問題を解くために,e-TH$varepsilon$O POULAと呼ばれる新しいランゲヴィン力学に基づくアルゴリズムを導入する。 金融と保険の3つの重要な応用として、多周期ポートフォリオ最適化、多周期ポートフォリオ最適化におけるトランスファーラーニング、保険請求予測がある。
  論文  参考訳（メタデータ） (2022-10-24T13:10:06Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。