論文の概要: Importance Sampling Deterministic Annealing for Clustering
- arxiv url: http://arxiv.org/abs/2302.04421v1
- Date: Thu, 9 Feb 2023 03:18:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-10 16:56:34.979282
- Title: Importance Sampling Deterministic Annealing for Clustering
- Title（参考訳）: クラスタリングのための重要サンプリング決定論的アニーリング
- Authors: Jiangshe Zhang, Lizhen Ji, Meng Wang
- Abstract要約: クラスタリング問題に対する重要サンプリングに基づく決定論的アニール法(ISDA)を提案する。
合成データセットの実験結果と実世界の負荷予測問題により提案したISDAが検証された。
ファジィc-meansは対数歪みを伴うISDAの特殊な症例である。
- 参考スコア（独自算出の注目度）: 18.248246885248733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A current assumption of most clustering methods is that the training data and
future data are taken from the same distribution. However, this assumption may
not hold in some real-world scenarios. In this paper, we propose an importance
sampling based deterministic annealing approach (ISDA) for clustering problems
which minimizes the worst case of expected distortions under the constraint of
distribution deviation. The distribution deviation constraint can be converted
to the constraint over a set of weight distributions centered on the uniform
distribution derived from importance sampling. The objective of the proposed
approach is to minimize the loss under maximum degradation hence the resulting
problem is a constrained minimax optimization problem which can be reformulated
to an unconstrained problem using the Lagrange method and be solved by the
quasi-newton algorithm. Experiment results on synthetic datasets and a
real-world load forecasting problem validate the effectiveness of the proposed
ISDA. Furthermore, we show that fuzzy c-means is a special case of ISDA with
the logarithmic distortion. This observation sheds a new light on the
relationship between fuzzy c-means and deterministic annealing clustering
algorithms and provides an interesting physical and information-theoretical
interpretation for fuzzy exponent $m$.
- Abstract（参考訳）: 多くのクラスタリング手法の現在の仮定は、トレーニングデータと将来のデータが同じ分布から取られるというものである。
しかし、この仮定は現実のシナリオには当てはまらないかもしれない。
本稿では,分布偏差の制約下で予測される歪みの最悪の場合を最小限に抑える,クラスタリング問題に対する重要サンプリングに基づく決定論的アニーリング手法(isda)を提案する。
分散偏差制約は、重要サンプリングから導かれる均一分布を中心とする重み分布の集合上の制約に変換することができる。
提案手法は,最大分解下での損失を最小限に抑えることを目的としており,ラグランジュ法を用いて制約のない問題に再構成し,準ニュートンアルゴリズムによって解くことができる制約付きミニマックス最適化問題である。
合成データセットによる実験結果と実世界の負荷予測問題により,isdaの有効性が検証された。
さらに,ファジィc-meansは対数歪みを伴うISDAの特殊な症例であることを示す。
この観測はファジィc平均と決定論的アニールクラスタリングアルゴリズムの関係に新たな光を当て、ファジィ指数$m$の物理および情報理論的解釈を提供する。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - Flow-based Distributionally Robust Optimization [23.232731771848883]
We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。
我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。
本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
論文 参考訳（メタデータ） (2023-10-30T03:53:31Z) - Constrained Reweighting of Distributions: an Optimal Transport Approach [8.461214317999321]
重みに対する非パラメトリックな分布制約を導入し、最適輸送から最大エントロピー原理とツールを利用する一般的な枠組みを開発する。
このフレームワークは、ポートフォリオ割り当て、複雑なサーベイのための半パラメトリック推論、機械学習アルゴリズムにおけるアルゴリズムフェアネスの3つの異なる応用の文脈で実証されている。
論文 参考訳（メタデータ） (2023-10-19T03:54:31Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic
Optimization [1.1612308609123565]
最適化フェーズにおける準最適度を最小化することを目的とした,規範的次元削減フレームワークを開発した。
下流最適化問題に期待値の目的がある場合、分散ロバスト最適化問題を解くことにより、規範的次元削減が可能であることを示す。
提案手法は, 実データおよび合成データを用いて主成分分析を著しく上回っている。
論文 参考訳（メタデータ） (2023-06-04T00:50:35Z) - A data variation robust learning model based on importance sampling [11.285259001286978]
本稿では,分散逸脱の制約下での損失の最悪のケースを最小限に抑える学習問題に対して,重要サンプリングに基づくデータ変動ロバスト損失(ISloss)を提案する。
提案手法は, 分布変化が大きい場合, 頑健であることを示す。
論文 参考訳（メタデータ） (2023-02-09T04:50:06Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Optimization in Machine Learning: A Distribution Space Approach [16.038814087205143]
本稿では,機械学習における最適化問題は,関数空間上の凸関数を最小化するものとして解釈されることが多い。
空間分布における凸最適化問題と同様に、適切な緩和によってそのような問題を再現する。
本研究では,混合分布に基づく数値アルゴリズムを開発し,分布空間で直接近似最適化を行う。
論文 参考訳（メタデータ） (2020-04-18T13:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。