論文の概要: Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization

• arxiv url: http://arxiv.org/abs/2410.02628v1
• Date: Thu, 3 Oct 2024 16:12:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 02:02:21.106744
• Title: Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization
• Title（参考訳）: データ様態最大化による逆エントロピー最適輸送体半教師付き学習
• Authors: Mikhail Persiianov, Arip Asadulaev, Nikita Andreev, Nikita Starodubcev, Dmitry Baranchuk, Anastasis Kratsios, Evgeny Burnaev, Alexander Korotin,
• Abstract要約: 条件分布は機械学習の中心的な問題です ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。 我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
• 参考スコア（独自算出の注目度）: 65.8915778873691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning conditional distributions $\pi^*(\cdot|x)$ is a central problem in machine learning, which is typically approached via supervised methods with paired data $(x,y) \sim \pi^*$. However, acquiring paired data samples is often challenging, especially in problems such as domain translation. This necessitates the development of $\textit{semi-supervised}$ models that utilize both limited paired data and additional unpaired i.i.d. samples $x \sim \pi^*_x$ and $y \sim \pi^*_y$ from the marginal distributions. The usage of such combined data is complex and often relies on heuristic approaches. To tackle this issue, we propose a new learning paradigm that integrates both paired and unpaired data $\textbf{seamlessly}$ through the data likelihood maximization techniques. We demonstrate that our approach also connects intriguingly with inverse entropic optimal transport (OT). This finding allows us to apply recent advances in computational OT to establish a $\textbf{light}$ learning algorithm to get $\pi^*(\cdot|x)$. Furthermore, we demonstrate through empirical tests that our method effectively learns conditional distributions using paired and unpaired data simultaneously.
• Abstract（参考訳）: 学習条件分布 $\pi^*(\cdot|x)$ は機械学習の中心的な問題であり、通常、ペアデータ $(x,y) \sim \pi^*$ で教師付き手法によってアプローチされる。 しかし、特にドメイン翻訳のような問題では、ペア化されたデータサンプルの取得は困難であることが多い。 これは、制限されたペアデータと追加の未ペアデータの両方を利用する$\textit{semi-supervised}$モデル、すなわち、限界分布から$x \sim \pi^*_x$と$y \sim \pi^*_y$を開発する必要がある。 このような組み合わせデータの使用は複雑で、しばしばヒューリスティックなアプローチに依存している。 この問題に対処するため,データ極大化手法を用いて,ペアデータとペアデータの両方を統合する新たな学習パラダイムを提案する。 また,本手法は,逆エントロピー最適輸送(OT)と興味深い結びつきがあることを実証した。 この発見により、計算OTの最近の進歩を応用して$\textbf{light}$学習アルゴリズムを確立し、$\pi^*(\cdot|x)$を得ることができる。 さらに,本手法がペアデータとアンペアデータを用いて条件分布を効果的に学習できることを実証実験により実証した。

関連論文リスト

• On Computing Pairwise Statistics with Local Differential Privacy [55.81991984375959]
  例えば$binomn2-1 sum_i ne j f(x_i, x_j)$, $x_i$ は$i$thユーザへの入力を表し、ローカルモデルでは差分プライバシ(DP)である。 この定式化は、Kendallの$tau$ coefficient、Area Under Curve、Giniの平均差、Giniのエントロピーなどの重要なメトリクスをキャプチャする。
  論文  参考訳（メタデータ） (2024-06-24T04:06:09Z)
• Sparse Gaussian Graphical Models with Discrete Optimization: Computational and Statistical Perspectives [8.403841349300103]
  本研究では,無向ガウス図形モデルに基づくスパースグラフの学習問題を考察する。 擬似微分関数の $ell_0$-penalized バージョンに基づく新しい推定器 GraphL0BnB を提案する。 実/合成データセットに関する数値実験により,本手法がほぼ最適に,p = 104$の問題を解けることが示唆された。
  論文  参考訳（メタデータ） (2023-07-18T15:49:02Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization [96.26317627118912]
  群分散ロバスト最適化(GDRO) オンライン学習技術は、各ラウンドに必要なサンプル数をm$から1$に減らし、同じサンプルを保持する。 分布依存収束率を導出できる重み付きGDROの新規な定式化。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Tight Bounds on the Hardness of Learning Simple Nonparametric Mixtures [9.053430799456587]
  有限混合系における非パラメトリック分布の学習問題について検討する。 このようなモデルにおける成分分布を学習するために、サンプルの複雑さに厳密な境界を定めている。
  論文  参考訳（メタデータ） (2022-03-28T23:53:48Z)
• An Improved Analysis of Gradient Tracking for Decentralized Machine Learning [34.144764431505486]
  トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。 エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。 ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
  論文  参考訳（メタデータ） (2022-02-08T12:58:14Z)
• High Dimensional Differentially Private Stochastic Optimization with Heavy-tailed Data [8.55881355051688]
  本研究では,高次元空間における重み付きデータを用いたDP-SCOの問題に関する最初の研究を行う。 損失関数が滑らかで、その勾配が第二次モーメントに有界ならば、$epsilon$-DPモデルで$tildeO(fraclog d(nepsilon)frac13)$の(高い確率)誤差境界(過剰な集団リスク)を得ることが可能である。 論文の第2部では,重み付きデータを用いたスパース学習について検討した。
  論文  参考訳（メタデータ） (2021-07-23T11:03:21Z)
• Mediated Uncoupled Learning: Learning Functions without Direct Input-output Correspondences [80.95776331769899]
  ペア化されたデータがない場合、$X$から$Y$を予測するタスクを考えます。 単純なアプローチは、$S_X$で$U$から$U$を予測し、$S_Y$で$U$から$Y$を予測することである。 我々は$U$を予測しない新しい方法を提案するが、$f(X)$と$S_X$をトレーニングすることで$Y = f(X)$を直接学習し、$h(U)$を予測する。
  論文  参考訳（メタデータ） (2021-07-16T22:13:29Z)
• Inductive Mutual Information Estimation: A Convex Maximum-Entropy Copula Approach [0.5330240017302619]
  我々は2つの順序ベクトルの相互情報をx$とy$で推定する新しい推定器を提案する。 我々は、制約が実現可能である限り、この問題は一意な解を認め、指数関数族であり、凸最適化問題を解くことによって学習できることを証明する。 提案手法は,偽試料のコプラのエントロピーを最大化することにより,ganのモード崩壊の軽減に有用であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T21:21:40Z)
• Hardness of Learning Halfspaces with Massart Noise [56.98280399449707]
  我々は、マッサート(有界)ノイズの存在下でPAC学習のハーフスペースの複雑さを研究します。 情報理論上最適なエラーとSQアルゴリズムで達成できる最高のエラーとの間に指数関数的なギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-12-17T16:43:11Z)
• Average-case Complexity of Teaching Convex Polytopes via Halfspace Queries [55.28642461328172]
  平均的なケースの教えの複雑さは$Theta(d)$であり、最悪のケースの教えの複雑さは$Theta(n)$とは対照的である。 我々の洞察は、$phi$-separable dichotomiesの平均ケースの複雑さに厳密な拘束力を確立することを可能にする。
  論文  参考訳（メタデータ） (2020-06-25T19:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。