論文の概要: Big Learning Expectation Maximization

• arxiv url: http://arxiv.org/abs/2312.11926v1
• Date: Tue, 19 Dec 2023 08:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 16:38:02.011228
• Title: Big Learning Expectation Maximization
• Title（参考訳）: 大規模学習期待最大化
• Authors: Yulai Cong, Sijia Li
• Abstract要約: 本稿では,共同,辺縁,直交の辺縁マッチングを同時に行うEMアップグレードであるBig Learning EM(BigLearn-EM)を提案する。 実験により,BigLearn-EMは高い確率で最適な結果を得ることができることを示す。
• 参考スコア（独自算出の注目度）: 13.709094150105566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture models serve as one fundamental tool with versatile applications. However, their training techniques, like the popular Expectation Maximization (EM) algorithm, are notoriously sensitive to parameter initialization and often suffer from bad local optima that could be arbitrarily worse than the optimal. To address the long-lasting bad-local-optima challenge, we draw inspiration from the recent ground-breaking foundation models and propose to leverage their underlying big learning principle to upgrade the EM. Specifically, we present the Big Learning EM (BigLearn-EM), an EM upgrade that simultaneously performs joint, marginal, and orthogonally transformed marginal matchings between data and model distributions. Through simulated experiments, we empirically show that the BigLearn-EM is capable of delivering the optimal with high probability; comparisons on benchmark clustering datasets further demonstrate its effectiveness and advantages over existing techniques. The code is available at https://github.com/YulaiCong/Big-Learning-Expectation-Maximization.
• Abstract（参考訳）: 混合モデルは、汎用アプリケーションのための基本ツールとして機能する。 しかし、一般的な期待最大化(EM)アルゴリズムのようなトレーニング手法はパラメータの初期化に敏感であり、しばしば最適値よりも任意に悪い局所最適値に悩まされる。 長続きするローカル・オプティマ問題に対処するため、最近の基盤モデルからインスピレーションを得て、その基盤となるビッグデータ原則を活用してEMをアップグレードすることを提案する。 具体的にはBig Learning EM(BigLearn-EM)という,データとモデル分布の結合,辺縁,直交的に変換された辺縁マッチングを同時に行うEMアップグレードを提案する。 シミュレーション実験により,BigLearn-EMは高い確率で最適な結果が得られることを示した。 コードはhttps://github.com/YulaiCong/Big-Learning-Expectation-Maximizationで公開されている。

関連論文リスト

• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• Delegating Data Collection in Decentralized Machine Learning [67.0537668772372]
  分散機械学習(ML)エコシステムの出現に動機付けられ,データ収集のデリゲートについて検討する。 我々は、2つの基本的な情報非対称性を扱う最適でほぼ最適な契約を設計する。 最適効用の1-1/e分を達成できるような単純な線形契約により、主成分がそのような非対称性に対処できることが示される。
  論文  参考訳（メタデータ） (2023-09-04T22:16:35Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Stochastic First-Order Learning for Large-Scale Flexibly Tied Gaussian Mixture Model [3.4546761246181696]
  ガウス混合モデル(GMM)の多様体上での新しい最適化アルゴリズムを提案する。 我々は,予測最大化アルゴリズムを,より高い確率で達成し,収束のエポックを少なくし,各エポックあたりの時間を少なくすることができることを観察した。
  論文  参考訳（メタデータ） (2022-12-11T04:24:52Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Model-based Offline Imitation Learning with Non-expert Data [7.615595533111191]
  本稿では,最適条件と最適条件の両方で収集されたデータセットを活用する,スケーラブルなモデルベースオフライン模倣学習アルゴリズムフレームワークを提案する。 提案手法は, シミュレーションされた連続制御領域上での低データ構造における振舞いクローンよりも優れることを示す。
  論文  参考訳（メタデータ） (2022-06-11T13:08:08Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Meta Hamiltonian Learning [0.0]
  我々はメタラーニングとして知られる機械学習技術を用いて、このタスクのより効率的なドリフトを学習する。 メタ最適化器は,テストサンプルの平均損失において,他の最適化手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-04-09T16:01:34Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Expected Information Maximization: Using the I-Projection for Mixture Density Estimation [22.096148237257644]
  高度にマルチモーダルなデータのモデリングは、機械学習において難しい問題である。 我々は,予測情報最大化(EIM)と呼ばれる新しいアルゴリズムを提案する。 我々のアルゴリズムは最近のGANアプローチよりもI射影の計算に効果的であることを示す。
  論文  参考訳（メタデータ） (2020-01-23T17:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。