論文の概要: Information Theoretical Importance Sampling Clustering
- arxiv url: http://arxiv.org/abs/2302.04421v2
- Date: Tue, 30 May 2023 07:03:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 01:27:02.227079
- Title: Information Theoretical Importance Sampling Clustering
- Title(参考訳): 情報理論的重要度サンプリングクラスタリング
- Authors: Jiangshe Zhang, Lizhen Ji, Meng Wang
- Abstract要約: 多くのクラスタリング手法の現在の仮定は、トレーニングデータと将来のデータが同じ分布から取られるというものである。
我々は,クラスタリング問題(itisC)に対する情報理論的重要度サンプリングに基づくアプローチを提案する。
合成データセットの実験結果と実世界の負荷予測問題により,提案モデルの有効性が検証された。
- 参考スコア(独自算出の注目度): 18.248246885248733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A current assumption of most clustering methods is that the training data and
future data are taken from the same distribution. However, this assumption may
not hold in most real-world scenarios. In this paper, we propose an information
theoretical importance sampling based approach for clustering problems (ITISC)
which minimizes the worst case of expected distortions under the constraint of
distribution deviation. The distribution deviation constraint can be converted
to the constraint over a set of weight distributions centered on the uniform
distribution derived from importance sampling. The objective of the proposed
approach is to minimize the loss under maximum degradation hence the resulting
problem is a constrained minimax optimization problem which can be reformulated
to an unconstrained problem using the Lagrange method. The optimization problem
can be solved by both an alternative optimization algorithm or a general
optimization routine by commercially available software. Experiment results on
synthetic datasets and a real-world load forecasting problem validate the
effectiveness of the proposed model. Furthermore, we show that fuzzy c-means is
a special case of ITISC with the logarithmic distortion, and this observation
provides an interesting physical interpretation for fuzzy exponent $m$.
- Abstract(参考訳): 多くのクラスタリング手法の現在の仮定は、トレーニングデータと将来のデータが同じ分布から取られるというものである。
しかし、この仮定は現実のシナリオでは成り立たないかもしれない。
本稿では,分布偏差の制約下で予測される歪みの最悪の場合を最小化するクラスタリング問題(itisc)に対する情報理論的重要度サンプリング手法を提案する。
分散偏差制約は、重要サンプリングから導かれる均一分布を中心とする重み分布の集合上の制約に変換することができる。
提案手法の目的は,最大劣化下での損失を最小限に抑えることであり,その結果の問題は制約付きミニマックス最適化問題であり,ラグランジュ法を用いて制約のない問題に再構成できる。
最適化問題は、代替最適化アルゴリズムと商用ソフトウェアによる汎用最適化ルーチンの両方で解決できる。
合成データセットの実験結果と実世界の負荷予測問題により,提案モデルの有効性が検証された。
さらに,ファジィc-meansは対数歪みを伴うitisCの特殊な症例であり,この観察はファジィ指数$m$に対する興味深い物理的解釈を提供する。
関連論文リスト
- Diffusion Models as Constrained Samplers for Optimization with Unknown
Constraints [39.54265889656945]
拡散モデルを用いてデータ多様体内で最適化を行う。
ボルツマン分布の積からサンプリング問題として元の最適化問題を再構成する。
提案手法は,従来の最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを達成できることを示す。
論文 参考訳(メタデータ) (2024-02-28T03:09:12Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Constrained Reweighting of Distributions: an Optimal Transport Approach [8.461214317999321]
重みに対する非パラメトリックな分布制約を導入し、最適輸送から最大エントロピー原理とツールを利用する一般的な枠組みを開発する。
このフレームワークは、ポートフォリオ割り当て、複雑なサーベイのための半パラメトリック推論、機械学習アルゴリズムにおけるアルゴリズムフェアネスの3つの異なる応用の文脈で実証されている。
論文 参考訳(メタデータ) (2023-10-19T03:54:31Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic
Optimization [1.1612308609123565]
最適化フェーズにおける準最適度を最小化することを目的とした,規範的次元削減フレームワークを開発した。
下流最適化問題に期待値の目的がある場合、分散ロバスト最適化問題を解くことにより、規範的次元削減が可能であることを示す。
提案手法は, 実データおよび合成データを用いて主成分分析を著しく上回っている。
論文 参考訳(メタデータ) (2023-06-04T00:50:35Z) - A data variation robust learning model based on importance sampling [11.285259001286978]
本稿では,分散逸脱の制約下での損失の最悪のケースを最小限に抑える学習問題に対して,重要サンプリングに基づくデータ変動ロバスト損失(ISloss)を提案する。
提案手法は, 分布変化が大きい場合, 頑健であることを示す。
論文 参考訳(メタデータ) (2023-02-09T04:50:06Z) - Rethinking Collaborative Metric Learning: Toward an Efficient
Alternative without Negative Sampling [156.7248383178991]
コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。
負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。
そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
論文 参考訳(メタデータ) (2022-06-23T08:50:22Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - Optimization in Machine Learning: A Distribution Space Approach [16.038814087205143]
本稿では,機械学習における最適化問題は,関数空間上の凸関数を最小化するものとして解釈されることが多い。
空間分布における凸最適化問題と同様に、適切な緩和によってそのような問題を再現する。
本研究では,混合分布に基づく数値アルゴリズムを開発し,分布空間で直接近似最適化を行う。
論文 参考訳(メタデータ) (2020-04-18T13:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。