論文の概要: An Algorithm for Learning Smaller Representations of Models With Scarce Data

• arxiv url: http://arxiv.org/abs/2010.07990v2
• Date: Thu, 10 Jul 2025 14:51:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.07364
• Title: An Algorithm for Learning Smaller Representations of Models With Scarce Data
• Title（参考訳）: スカースデータを用いたモデルのより小さな表現の学習アルゴリズム
• Authors: Adrian de Wynter,
• Abstract要約: 本稿では,データセットが問題を完全に表現していない場合のバイナリ分類問題の解法を提案する。 我々のアルゴリズムは、基礎となる分布の支持にある多様体をホモロジーに再構成することで機能する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an algorithm for solving binary classification problems when the dataset is not fully representative of the problem being solved, and obtaining more data is not possible. It relies on a trained model with loose accuracy constraints, an iterative hyperparameter searching-and-pruning procedure over a search space $\Theta$, and a data-generating function. Our algorithm works by reconstructing up to homology the manifold on which lies the support of the underlying distribution. We provide an analysis on correctness and runtime complexity under ideal conditions and an extension to deep neural networks. In the former case, if $\size{\Theta}$ is the number of hyperparameter sets in the search space, this algorithm returns a solution that is up to $2(1 - {2^{-\size{\Theta}}})$ times better than simply training with an enumeration of $\Theta$ and picking the best model. As part of our analysis we also prove that an open cover of a dataset has the same homology as the manifold on which lies the support of the underlying probability distribution, if and only said dataset is learnable. This latter result acts as a formal argument to explain the effectiveness of data expansion techniques.
• Abstract（参考訳）: 本稿では、データセットが解決すべき問題を完全に代表していない場合、さらに多くのデータを得ることができない場合、バイナリ分類問題を解決するアルゴリズムを提案する。 それは、ゆるやかな精度の制約、検索スペース$\Theta$上の反復的なハイパーパラメータ検索およびプルーニング手順、データ生成機能を備えた訓練されたモデルに依存している。 我々のアルゴリズムは、基礎となる分布の支持にある多様体をホモロジーに再構成することで機能する。 理想的な条件下での正確性と実行時の複雑性の分析と、ディープニューラルネットワークの拡張を提供する。 前者の場合、$\size{\Theta}$が検索空間内のハイパーパラメータ集合の数であるなら、このアルゴリズムは$$2(1 - {2^{-\size{\Theta}}})の解を返す。 解析の一部として、データセットの開被覆が、基礎となる確率分布を支持する多様体と同じホモロジーを持つことを証明した。 後者の結果は、データ拡張手法の有効性を説明する公式な議論として機能する。

関連論文リスト

• On Agnostic PAC Learning in the Small Error Regime [4.422219522591412]
  経験的リスク最小化学習者は、実現可能なケースでは最適だが、不可知なケースでは最適である。 Hanneke、Larsen、Zhivotovskiyの作業は、エラー項のパラメータとして$tau$を含めることで、この欠点に対処する。 我々の学習者は、一定の$c leq 2.1$に対して、誤りの少ない$tau + Omega left(sqrtfractau))m + fracd + log (1 / delta)m right)の厳密性を達成することを示す。
  論文  参考訳（メタデータ） (2025-02-13T17:03:03Z)
• Sample and Computationally Efficient Robust Learning of Gaussian Single-Index Models [37.42736399673992]
  シングルインデックスモデル (SIM) は $sigma(mathbfwast cdot mathbfx)$ という形式の関数であり、$sigma: mathbbR to mathbbR$ は既知のリンク関数であり、$mathbfwast$ は隠れ単位ベクトルである。 適切な学習者が$L2$-error of $O(mathrmOPT)+epsilon$。
  論文  参考訳（メタデータ） (2024-11-08T17:10:38Z)
• Model-agnostic basis functions for the 2-point correlation function of dark matter in linear theory [0.0]
  幅広い種類の宇宙モデルにおいて、バリオン音響振動特性の近傍に$xi_rm lin(r)$を記述する基底 $mathcalB$ を求める。 モデルに依存しないBAO解析における基礎関数の使用は、統計的に有意な利益をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-10-28T18:00:01Z)
• Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
  条件分布は機械学習の中心的な問題です ペアデータとペアデータの両方を統合する新しいパラダイムを提案する。 提案手法は任意の誤差で理論上真の条件分布を復元可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-03T16:12:59Z)
• Data Debugging is NP-hard for Classifiers Trained with SGD [8.449687092741604]
  Debuggableという問題の計算複雑性について検討する。 損失関数とモデルの次元が固定されていなければ、Debuggableは訓練順序に関係なくNP完全である。
  論文  参考訳（メタデータ） (2024-08-02T16:17:59Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic [99.3682210827572]
  ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。 データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。 ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
  論文  参考訳（メタデータ） (2024-04-10T17:27:54Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Distribution-Independent Regression for Generalized Linear Models with Oblivious Corruptions [49.69852011882769]
  一般化線形モデル (GLMs) の重畳雑音の存在下での回帰問題に対する最初のアルゴリズムを示す。 本稿では,この問題に最も一般的な分布非依存設定で対処するアルゴリズムを提案する。 これは、サンプルの半分以上を任意に破損させる難聴ノイズを持つGLMレグレッションに対する最初の新しいアルゴリズムによる結果である。
  論文  参考訳（メタデータ） (2023-09-20T21:41:59Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• $\ell_p$-Regression in the Arbitrary Partition Model of Communication [59.89387020011663]
  コーディネータモデルにおける分散$ell_p$-regression問題のランダム化通信複雑性について考察する。 p = 2$、すなわち最小二乗回帰の場合、$tildeTheta(sd2 + sd/epsilon)$ bitsの最初の最適境界を与える。 p in (1,2)$ に対して、$tildeO(sd2/epsilon + sd/mathrmpoly(epsilon)$ upper bound を得る。
  論文  参考訳（メタデータ） (2023-07-11T08:51:53Z)
• Fast $(1+\varepsilon)$-Approximation Algorithms for Binary Matrix Factorization [54.29685789885059]
  本稿では, 2次行列分解(BMF)問題に対する効率的な$(1+varepsilon)$-approximationアルゴリズムを提案する。 目標は、低ランク因子の積として$mathbfA$を近似することである。 我々の手法はBMF問題の他の一般的な変種に一般化する。
  論文  参考訳（メタデータ） (2023-06-02T18:55:27Z)
• Easy Differentially Private Linear Regression [16.325734286930764]
  本研究では,指数関数機構を用いて,非プライベート回帰モデルの集合からタキー深度の高いモデルを選択するアルゴリズムについて検討する。 このアルゴリズムは、データリッチな設定において、強い経験的性能を得る。
  論文  参考訳（メタデータ） (2022-08-15T17:42:27Z)
• Mean Estimation in High-Dimensional Binary Markov Gaussian Mixture Models [12.746888269949407]
  2進隠れマルコフモデルに対する高次元平均推定問題を考える。 ほぼ最小限の誤差率(対数係数まで)を $|theta_*|,delta,d,n$ の関数として確立する。
  論文  参考訳（メタデータ） (2022-06-06T09:34:04Z)
• Robust Testing in High-Dimensional Sparse Models [0.0]
  2つの異なる観測モデルの下で高次元スパース信号ベクトルのノルムを頑健にテストする問題を考察する。 回帰係数のノルムを確実に検定するアルゴリズムは、少なくとも$n=Omegaleft(min(slog d,1/gamma4)right)サンプルを必要とする。
  論文  参考訳（メタデータ） (2022-05-16T07:47:22Z)
• Distributed Reconstruction of Noisy Pooled Data [2.0559497209595823]
  プールデータ問題に対する2つのノイズモデルについて考察する。 本稿では,2つの誤りモデルに対して,単純かつ効率的な分散アルゴリズムを提示し,解析する。 提案手法は,アルゴリズムが精度の高い正確な初期状態を再構成する誤差確率と分布の範囲を推定する。
  論文  参考訳（メタデータ） (2022-04-14T06:48:40Z)
• Efficient and robust high-dimensional sparse logistic regression via nonlinear primal-dual hybrid gradient algorithms [0.0]
  弾性ネットペナルティによって正規化されるロジスティック回帰問題に対する解を確実に計算する反復アルゴリズムを提案する。 この結果は、一階最適化法に対して$O(min(m2n,mn2)log (1/epsilon))$の既知の複雑性境界を改善する。
  論文  参考訳（メタデータ） (2021-11-30T14:16:48Z)
• Model Selection with Near Optimal Rates for Reinforcement Learning with General Model Classes [27.361399036211694]
  有限地平線エピソディック強化学習(RL)問題に対するモデル選択の問題に対処する。 モデル選択フレームワークでは、$mathcalP*$の代わりに、遷移カーネルのネストされたファミリーが$M$を与えられる。 textttARL-GENが$TildemathcalO(d_mathcalE* H2+sqrtd_mathcalE* mathbbM* H2T)$の後悔を得ることを示す。
  論文  参考訳（メタデータ） (2021-07-13T05:00:38Z)
• Partial Wasserstein Covering [10.52782170493037]
  我々は、大規模なデータセットをエミュレートする目的で、部分的なWassersteinと呼ばれる一般的なタスクについて検討する。 この問題をワッサーシュタイン偏微分を目的関数とする離散最適化問題としてモデル化する。 我々は、シーンデータセットの駆動を含む部分的なワッサースタインの発散の観点から、2つのデータセットを効率的に作成できることを示します。
  論文  参考訳（メタデータ） (2021-06-02T01:48:41Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample Complexity [59.34067736545355]
  S$状態、$A$アクション、割引係数$gamma in (0,1)$、近似しきい値$epsilon > 0$の MDP が与えられた場合、$epsilon$-Optimal Policy を学ぶためのモデルなしアルゴリズムを提供する。 十分小さな$epsilon$の場合、サンプルの複雑さで改良されたアルゴリズムを示す。
  論文  参考訳（メタデータ） (2020-06-06T13:34:41Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)
• Agnostic Q-learning with Function Approximation in Deterministic Systems: Tight Bounds on Approximation Error and Sample Complexity [94.37110094442136]
  本稿では,決定論的システムにおける関数近似を用いたQ$学習の問題について検討する。 もし$delta = Oleft(rho/sqrtdim_Eright)$なら、$Oleft(dim_Eright)$を使って最適なポリシーを見つけることができる。
  論文  参考訳（メタデータ） (2020-02-17T18:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。