論文の概要: Automatic Outlier Rectification via Optimal Transport
- arxiv url: http://arxiv.org/abs/2403.14067v1
- Date: Thu, 21 Mar 2024 01:30:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 15:46:42.796594
- Title: Automatic Outlier Rectification via Optimal Transport
- Title(参考訳): 最適輸送による自動外周整流
- Authors: Jose Blanchet, Jiajin Li, Markus Pelger, Greg Zanotti,
- Abstract要約: コンケーブコスト関数を用いた最適輸送を用いた外乱検出のための新しい概念的枠組みを提案する。
本研究では,従来の手法に対するアプローチの有効性と優位性を,広範囲なシミュレーションと経験的分析で実証する。
- 参考スコア(独自算出の注目度): 7.421153752627664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel conceptual framework to detect outliers using optimal transport with a concave cost function. Conventional outlier detection approaches typically use a two-stage procedure: first, outliers are detected and removed, and then estimation is performed on the cleaned data. However, this approach does not inform outlier removal with the estimation task, leaving room for improvement. To address this limitation, we propose an automatic outlier rectification mechanism that integrates rectification and estimation within a joint optimization framework. We take the first step to utilize an optimal transport distance with a concave cost function to construct a rectification set in the space of probability distributions. Then, we select the best distribution within the rectification set to perform the estimation task. Notably, the concave cost function we introduced in this paper is the key to making our estimator effectively identify the outlier during the optimization process. We discuss the fundamental differences between our estimator and optimal transport-based distributionally robust optimization estimator. finally, we demonstrate the effectiveness and superiority of our approach over conventional approaches in extensive simulation and empirical analyses for mean estimation, least absolute regression, and the fitting of option implied volatility surfaces.
- Abstract(参考訳): 本稿では,コンケーブコスト関数を用いた最適輸送を用いた外乱検出のための新しい概念的枠組みを提案する。
従来の外れ値検出手法では、通常2段階の手順を用いる: まず、外れ値を検出して除去し、次にクリーン化されたデータ上で推定を行う。
しかし, この手法では, 推定作業で外乱除去を通知せず, 改善の余地は残されている。
この制限に対処するため,共同最適化フレームワーク内での修正と推定を統合する自動外乱補正機構を提案する。
本稿では, コンケーブコスト関数を用いた最適輸送距離を利用するための第一歩として, 確率分布の空間における補正セットを構築する。
次に、推定タスクを実行するための修正セット内での最適分布を選択する。
特に,本論文で紹介した凹凸コスト関数は,最適化過程におけるアウトラヤを効果的に同定する鍵となる。
我々は,我々の推定器と最適輸送に基づく分散ロバスト最適化推定器の基本的な相違について論じる。
最後に, 従来手法に対するアプローチの有効性と優位性を実証し, 平均推定法, 最小絶対回帰法, オプションインプリートボラティリティ面の適合性について検討した。
関連論文リスト
- Efficient and Guaranteed-Safe Non-Convex Trajectory Optimization with Constrained Diffusion Model [9.28162057044835]
ロボット工学におけるトラティシー最適化は、複雑なダイナミクス設定に非消費的な問題を引き起こす。
従来の数値最適化手法は時間を要するが, 完全化可能な並列フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T03:52:17Z) - Estimating Barycenters of Distributions with Neural Optimal Transport [96.79562439021494]
本稿では,Wasserstein Barycenter問題を解くための新しいスケーラブルなアプローチを提案する。
我々の手法は最近のNeural OTソルバをベースとしている。
また,提案手法の理論的誤差境界も確立する。
論文 参考訳(メタデータ) (2024-02-06T09:17:07Z) - Unifying Distributionally Robust Optimization via Optimal Transport
Theory [13.19058156672392]
本稿では,これらの手法を最適輸送に基づく単一フレームワークに統一する新しい手法を提案する。
提案手法により,最適対向分布が同時に摂動確率と結果を得ることが可能となる。
本稿では, この統合フレームワークの実用性を高めるための, トラクタブルな改質手法を提案する。
論文 参考訳(メタデータ) (2023-08-10T08:17:55Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳(メタデータ) (2023-07-26T08:25:46Z) - Multi-objective robust optimization using adaptive surrogate models for
problems with mixed continuous-categorical parameters [0.0]
ロバスト設計の最適化は、不確実性が主に目的関数に影響を与える場合、伝統的に考慮されている。
結果として生じるネスト最適化問題は、非支配的ソート遺伝的アルゴリズム(NSGA-II)において、汎用的な解法を用いて解決することができる。
提案手法は、適応的に構築されたKrigingモデルを用いて、NSGA-IIを順次実行し、量子を推定する。
論文 参考訳(メタデータ) (2022-03-03T20:23:18Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳(メタデータ) (2020-11-05T18:43:59Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-09-01T19:12:11Z) - Statistical Optimal Transport posed as Learning Kernel Embedding [0.0]
この研究は、統計学的最適輸送(OT)を、輸送計画のカーネルの平均埋め込みをサンプルベースによる限界埋め込みの推定から学習する、という新しいアプローチを採っている。
重要な結果は、非常に穏やかな条件下では、$epsilon$-optimal recovery of the transport plan と Barycentric-projection based transport map が、完全に次元のないサンプル複雑性で可能であることである。
論文 参考訳(メタデータ) (2020-02-08T14:58:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。