論文の概要: ReLU integral probability metric and its applications

• arxiv url: http://arxiv.org/abs/2504.18897v1
• Date: Sat, 26 Apr 2025 11:49:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.036753
• Title: ReLU integral probability metric and its applications
• Title（参考訳）: ReLU積分確率計量とその応用
• Authors: Yuha Park, Kunwoong Kim, Insung Kong, Yongdai Kim,
• Abstract要約: 2つの確率測度間の差を測定するために,パラメトリック積分確率測度(IPM)を提案する。 我々は、ReLUを活性化した単一ノードニューラルネットワークのような特定のパラメトリックな識別器の族を利用して、分散を効果的に区別する。 選択された判別器クラスのパラメータを最適化することにより、提案したIMMは、その推定器が良好な収束率を持つことを示す。
• 参考スコア（独自算出の注目度）: 3.9211047943684045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a parametric integral probability metric (IPM) to measure the discrepancy between two probability measures. The proposed IPM leverages a specific parametric family of discriminators, such as single-node neural networks with ReLU activation, to effectively distinguish between distributions, making it applicable in high-dimensional settings. By optimizing over the parameters of the chosen discriminator class, the proposed IPM demonstrates that its estimators have good convergence rates and can serve as a surrogate for other IPMs that use smooth nonparametric discriminator classes. We present an efficient algorithm for practical computation, offering a simple implementation and requiring fewer hyperparameters. Furthermore, we explore its applications in various tasks, such as covariate balancing for causal inference and fair representation learning. Across such diverse applications, we demonstrate that the proposed IPM provides strong theoretical guarantees, and empirical experiments show that it achieves comparable or even superior performance to other methods.
• Abstract（参考訳）: 2つの確率測度間の差を測定するために,パラメトリック積分確率測度(IPM)を提案する。 提案したIMMは、ReLUアクティベーションを持つ単一ノードニューラルネットワークのような特定のパラメトリックな識別器の族を利用して、分布を効果的に識別し、高次元設定に適用する。 選択した判別器クラスのパラメータを最適化することにより、提案したIMMは、推定器が収束率が高く、スムーズな非パラメトリック判別器クラスを使用する他のIMMのサロゲートとして機能することを示した。 本稿では,簡単な実装とハイパーパラメータの少ない効率的な計算アルゴリズムを提案する。 さらに、因果推論のための共変量バランスや公正表現学習など、様々なタスクにおけるその応用について検討する。 このような多種多様な応用において、提案したIMMが強力な理論的保証を提供することを示すとともに、実験により、他の手法と同等あるいはそれ以上の性能が得られることを示す。

関連論文リスト

• Exogenous Matching: Learning Good Proposals for Tractable Counterfactual Estimation [1.9662978733004601]
  本稿では, 抽出可能かつ効率的な対実表現推定のための重要サンプリング手法を提案する。 対物推定器の共通上限を最小化することにより、分散最小化問題を条件分布学習問題に変換する。 構造因果モデル (Structure Causal Models, SCM) の様々なタイプと設定による実験による理論的結果の検証と, 対実推定タスクにおける性能の実証を行った。
  論文  参考訳（メタデータ） (2024-10-17T03:08:28Z)
• A Uniform Concentration Inequality for Kernel-Based Two-Sample Statistics [4.757470449749877]
  これらの指標はカーネルベースの2サンプル統計学の一般的な枠組みの下で統一可能であることを示す。 本稿では、上記のカーネルベースの統計量に対して、新しい一様濃度不等式を確立する。 図示的応用として,これらの境界が距離共分散に基づく次元減少などの手順における誤差境界の構成をどのように促進するかを示す。
  論文  参考訳（メタデータ） (2024-05-22T22:41:56Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Data-driven Mixed Integer Optimization through Probabilistic Multi-variable Branching [8.03915440701838]
  オンライン混合整数プログラム(MIP)をオフラインデータセットと機械学習モデルで高速化する事前学習混合最適化フレームワーク(PreMIO)を提案する。 本手法は, 濃度不等式から選択した超平面を用いて, 実現可能な領域を分割するデータ駆動型多変量基数分岐法に基づく。
  論文  参考訳（メタデータ） (2023-05-21T05:11:30Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Doubly Robust Semiparametric Difference-in-Differences Estimators with High-Dimensional Data [15.27393561231633]
  不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。 第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。 第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
  論文  参考訳（メタデータ） (2020-09-07T15:14:29Z)
• Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
  本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。 いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T18:25:10Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。