論文の概要: Automatic Outlier Rectification via Optimal Transport
- arxiv url: http://arxiv.org/abs/2403.14067v2
- Date: Thu, 11 Jul 2024 05:22:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 22:57:45.295147
- Title: Automatic Outlier Rectification via Optimal Transport
- Title(参考訳): 最適輸送による自動外周整流
- Authors: Jose Blanchet, Jiajin Li, Markus Pelger, Greg Zanotti,
- Abstract要約: コンケーブコスト関数を用いた最適輸送を用いた外乱検出のための新しい概念的枠組みを提案する。
コンケーブコスト関数を用いて最適な輸送距離を利用するための第一歩を踏み出し、修正セットを構築する。
次に、推定タスクを実行するための修正セット内での最適分布を選択する。
- 参考スコア(独自算出の注目度): 7.421153752627664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel conceptual framework to detect outliers using optimal transport with a concave cost function. Conventional outlier detection approaches typically use a two-stage procedure: first, outliers are detected and removed, and then estimation is performed on the cleaned data. However, this approach does not inform outlier removal with the estimation task, leaving room for improvement. To address this limitation, we propose an automatic outlier rectification mechanism that integrates rectification and estimation within a joint optimization framework. We take the first step to utilize the optimal transport distance with a concave cost function to construct a rectification set in the space of probability distributions. Then, we select the best distribution within the rectification set to perform the estimation task. Notably, the concave cost function we introduced in this paper is the key to making our estimator effectively identify the outlier during the optimization process. We demonstrate the effectiveness of our approach over conventional approaches in simulations and empirical analyses for mean estimation, least absolute regression, and the fitting of option implied volatility surfaces.
- Abstract(参考訳): 本稿では,コンケーブコスト関数を用いた最適輸送を用いた外乱検出のための新しい概念的枠組みを提案する。
従来の外れ値検出手法では、通常2段階の手順を用いる: まず、外れ値を検出して除去し、次にクリーン化されたデータ上で推定を行う。
しかし, この手法では, 推定タスクで外乱除去を通知せず, 改善の余地は残されている。
この制限に対処するため,共同最適化フレームワーク内での修正と推定を統合する自動外乱補正機構を提案する。
本稿では, コンケーブコスト関数を用いて最適な輸送距離を利用するための第一歩として, 確率分布の空間に整合セットを構築する。
次に、推定タスクを実行するための修正セット内での最適分布を選択する。
特に,本論文で紹介した凹凸コスト関数は,最適化過程におけるアウトラヤを効果的に同定する鍵となる。
提案手法は, 平均推定, 最小絶対回帰, オプションインプリードボラティリティ面の嵌合に対するシミュレーションおよび実験解析において, 従来の手法よりも有効であることを示す。
関連論文リスト
- Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。
本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。
本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-17T11:47:56Z) - Acquiring Better Load Estimates by Combining Anomaly and Change Point Detection in Power Grid Time-series Measurements [0.49478969093606673]
提案手法は,可視データに対する堅牢かつ一般化可能な性能を確保しつつ,解釈可能性の優先順位付けを行う。
その結果, 濾過が適用されない場合に, 洗浄電位が明らかになることが示唆された。
我々の方法論の解釈可能性によって、重要なインフラ計画に特に適しています。
論文 参考訳(メタデータ) (2024-05-25T10:15:51Z) - Unifying Distributionally Robust Optimization via Optimal Transport
Theory [13.19058156672392]
本稿では,これらの手法を最適輸送に基づく単一フレームワークに統一する新しい手法を提案する。
提案手法により,最適対向分布が同時に摂動確率と結果を得ることが可能となる。
本稿では, この統合フレームワークの実用性を高めるための, トラクタブルな改質手法を提案する。
論文 参考訳(メタデータ) (2023-08-10T08:17:55Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳(メタデータ) (2023-07-26T08:25:46Z) - Distributed Unconstrained Optimization with Time-varying Cost Functions [1.52292571922932]
目的は、各時点の総コストを最小限に抑える最適な軌道を追跡することである。
提案手法は,2段階のダイナミックスから成り,まず第1段階と第2段階の局所的コストの導関数をサンプリングし,最適軌道への降下方向の推定を周期的に構築する。
提案手法の性能を示すために,アルゴリズムのパラメータとその局所状態の収束に対する効果を最適軌道に調整する数値実験を行った。
論文 参考訳(メタデータ) (2022-12-12T23:59:54Z) - Multi-objective robust optimization using adaptive surrogate models for
problems with mixed continuous-categorical parameters [0.0]
ロバスト設計の最適化は、不確実性が主に目的関数に影響を与える場合、伝統的に考慮されている。
結果として生じるネスト最適化問題は、非支配的ソート遺伝的アルゴリズム(NSGA-II)において、汎用的な解法を用いて解決することができる。
提案手法は、適応的に構築されたKrigingモデルを用いて、NSGA-IIを順次実行し、量子を推定する。
論文 参考訳(メタデータ) (2022-03-03T20:23:18Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-09-01T19:12:11Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。