Fugu-MT 論文翻訳(概要): A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning

論文の概要: A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning

arxiv url: http://arxiv.org/abs/2404.17978v1
Date: Sat, 27 Apr 2024 18:41:32 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 18:22:24.230606
Title: A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning
Title（参考訳）: 制約を埋め込むモーメントの手法と半教師付き学習への応用
Authors: Michael Majurski, Sumeet Menon, Parniyan Farvardin, David Chapman,
Abstract要約: 線形+ソフトマックス最終層を持つ非ネイティブなディープラーニングモデルには問題がある。ラテント空間は条件付き確率$p(Y|X)$だけを予測するが、完全関節分布$p(Y,X)$は予測しない。このことは、幻覚、不明瞭なバイアス、大規模なデータセットへの依存など、多くの問題に影響を及ぼす過信モデルをさらに悪化させる。
参考スコア（独自算出の注目度）: 2.8266810371534152
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Discriminative deep learning models with a linear+softmax final layer have a problem: the latent space only predicts the conditional probabilities $p(Y|X)$ but not the full joint distribution $p(Y,X)$, which necessitates a generative approach. The conditional probability cannot detect outliers, causing outlier sensitivity in softmax networks. This exacerbates model over-confidence impacting many problems, such as hallucinations, confounding biases, and dependence on large datasets. To address this we introduce a novel embedding constraint based on the Method of Moments (MoM). We investigate the use of polynomial moments ranging from 1st through 4th order hyper-covariance matrices. Furthermore, we use this embedding constraint to train an Axis-Aligned Gaussian Mixture Model (AAGMM) final layer, which learns not only the conditional, but also the joint distribution of the latent space. We apply this method to the domain of semi-supervised image classification by extending FlexMatch with our technique. We find our MoM constraint with the AAGMM layer is able to match the reported FlexMatch accuracy, while also modeling the joint distribution, thereby reducing outlier sensitivity. We also present a preliminary outlier detection strategy based on Mahalanobis distance and discuss future improvements to this strategy. Code is available at: \url{https://github.com/mmajurski/ssl-gmm}
Abstract（参考訳）: 線形+ソフトマックスの最終層を持つ識別的ディープラーニングモデルには問題がある: 潜在空間は条件付き確率$p(Y|X)$だけを予測するが、生成的アプローチを必要とする完全関節分布$p(Y,X)$は予測しない。条件付き確率は外れ値を検出することができず、ソフトマックスネットワークでは外れ値の感度が生じる。このことは、幻覚、矛盾するバイアス、大規模なデータセットへの依存など、多くの問題に影響を及ぼす過信モデルをさらに悪化させる。これを解決するために,モーメントの方法(MoM)に基づく新しい埋め込み制約を導入する。本研究では1次から4次までの超共分散行列の多項式モーメントの利用について検討する。さらに、この埋め込み制約を用いて、条件だけでなく、潜在空間の結合分布も学習する軸配向ガウス混合モデル(AAGMM)の最終層を訓練する。本手法はFlexMatchを拡張して半教師付き画像分類の領域に適用する。 AAGMM層とのMoM制約は,報告したFlexMatchの精度と一致し,関節分布をモデル化し,外部感度を低下させる。また,マハラノビス距離に基づく予備的外乱検出戦略を提案し,この戦略の今後の改善について検討する。コードは以下の通り。 \url{https://github.com/mmajurski/ssl-gmm}

関連論文リスト

Agnostic Smoothed Online Learning [5.167069404528051]
本稿では,$mu$の事前知識を必要とせずに,オンライン学習を円滑に行うためのサブ線形後悔を保証するアルゴリズムを提案する。 R-Coverは、次元$d$を持つ関数クラスに対して、適応的後悔$tilde O(sqrtdT/sigma)$を持つ。
論文参考訳（メタデータ） (2024-10-07T15:25:21Z)
Beyond Closure Models: Learning Chaotic-Systems via Physics-Informed Neural Operators [78.64101336150419]
カオスシステムの長期的挙動を予測することは、気候モデリングなどの様々な応用に不可欠である。このような完全解法シミュレーションに対する別のアプローチは、粗いグリッドを使用して、時間テキストモデルによってエラーを修正することである。この制限を克服する物理インフォームド・ニューラル演算子(PINO)を用いたエンド・ツー・エンドの学習手法を提案する。
論文参考訳（メタデータ） (2024-08-09T17:05:45Z)
Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。スパース・アンミキシングの代替手法の有効性を実証する。
論文参考訳（メタデータ） (2024-01-23T10:07:41Z)
Learning with Stochastic Orders [25.795107089736295]
高次元分布の学習は、しばしば、積分確率メトリクス(IPMs)による明示的な可能性モデリングまたは暗黙的なモデリングによって行われる。我々はIPMsationalの代替として使用できる確率測度間のChoquet-Toland距離を導入する。また、変動支配基準(VDC)を導入し、支配制約のある確率測度を学習する。
論文参考訳（メタデータ） (2022-05-27T00:08:03Z)
Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling [0.0]
SBRSのSoftmaxボトルネックには、さらに多くの側面があることが示されています。そこで本研究では,これらの問題を緩和するために,D&D(Dropout and Decoupling)というシンプルな手法を提案する。本手法は,様々なSoftmaxベースのSBRSアルゴリズムの精度を大幅に向上させる。
論文参考訳（メタデータ） (2021-10-11T16:52:23Z)
A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
論文参考訳（メタデータ） (2021-01-25T09:46:14Z)
Differentially Private (Gradient) Expectation Maximization Algorithm with Statistical Guarantees [25.996994681543903]
(グラディエント)期待最大化(EM)は、混合モデルや不完全データ問題の最大確率を推定するアルゴリズムである。この問題に関するこれまでの研究は、既に(グラディエント)EMのための微分プライベート(DP)アルゴリズムの発見につながっている。本稿では,統計的保証付き(グラディエント)EMアルゴリズムの最初のDPバージョンを提案する。
論文参考訳（メタデータ） (2020-10-22T03:41:19Z)
Online and Distribution-Free Robustness: Regression and Contextual Bandits with Huber Contamination [29.85468294601847]
線形回帰と文脈的帯域幅という2つの古典的高次元オンライン学習問題を再考する。従来の手法が失敗した場合にアルゴリズムが成功することを示す。
論文参考訳（メタデータ） (2020-10-08T17:59:05Z)
Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
論文参考訳（メタデータ） (2020-09-04T04:10:39Z)
Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文参考訳（メタデータ） (2020-07-15T03:25:24Z)
Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。