論文の概要: How to sketch a learning algorithm

• arxiv url: http://arxiv.org/abs/2604.07328v1
• Date: Wed, 08 Apr 2026 17:46:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.662837
• Title: How to sketch a learning algorithm
• Title（参考訳）: 学習アルゴリズムのスケッチ方法
• Authors: Sam Gunn,
• Abstract要約: 本稿では,深層学習環境における誤差$varepsilon$のモデル出力を予測可能なデータ削除方式を提案する。 私たちの証明は、私たちが「安定」と呼ぶ仮定に基づいている。 以前の作業による仮定とは対照的に、安定性は強力なAIモデルの学習と完全に互換性があるようだ。
• 参考スコア（独自算出の注目度）: 3.2654563317952205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How does the choice of training data influence an AI model? This question is of central importance to interpretability, privacy, and basic science. At its core is the data deletion problem: after a reasonable amount of precomputation, quickly predict how the model would behave in a given situation if a given subset of training data had been excluded from the learning algorithm. We present a data deletion scheme capable of predicting model outputs with vanishing error $\varepsilon$ in the deep learning setting. Our precomputation and prediction algorithms are only $\mathrm{poly}(1/\varepsilon)$ factors slower than regular training and inference, respectively. The storage requirements are those of $\mathrm{poly}(1/\varepsilon)$ models. Our proof is based on an assumption that we call "stability." In contrast to the assumptions made by prior work, stability appears to be fully compatible with learning powerful AI models. In support of this, we show that stability is satisfied in a minimal set of experiments with microgpt. Our code is available at https://github.com/SamSpo1/microgpt-sketch. At a technical level, our work is based on a new method for locally sketching an arithmetic circuit by computing higher-order derivatives in random complex directions. Forward-mode automatic differentiation allows cheap computation of these derivatives.
• Abstract（参考訳）: トレーニングデータの選択はAIモデルにどのように影響しますか? この問題は、解釈可能性、プライバシー、基礎科学の中心的な重要性である。 適切な事前計算の後、学習アルゴリズムから与えられたトレーニングデータのサブセットが除外された場合、モデルが特定の状況でどのように振る舞うかを素早く予測する。 本稿では,深層学習環境におけるモデル出力の誤差を$\varepsilon$で予測できるデータ削除方式を提案する。 我々の事前計算アルゴリズムと予測アルゴリズムは、通常のトレーニングと推論よりも遅い$\mathrm{poly}(1/\varepsilon)$因子のみである。 ストレージ要件は$\mathrm{poly}(1/\varepsilon)$モデルである。 私たちの証明は、私たちが「安定」と呼ぶ仮定に基づいている。 以前の作業による仮定とは対照的に、安定性は強力なAIモデルの学習と完全に互換性があるようだ。 これを支持するために,マイクロgpt を用いた最小限の実験で安定性が満たされることを示す。 私たちのコードはhttps://github.com/SamSpo1/microgpt-sketch.comで利用可能です。 技術的レベルでは、ランダムな複素方向の高階微分を計算することにより、演算回路を局所的にスケッチする新しい手法に基づいている。 フォワードモード自動微分は、これらの微分の安価な計算を可能にする。

関連論文リスト

• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Data Debugging is NP-hard for Classifiers Trained with SGD [8.449687092741604]
  Debuggableという問題の計算複雑性について検討する。 損失関数とモデルの次元が固定されていなければ、Debuggableは訓練順序に関係なくNP完全である。
  論文  参考訳（メタデータ） (2024-08-02T16:17:59Z)
• Aligning Model Properties via Conformal Risk Control [4.710921988115686]
  トレーニング後のアライメントは、人間のフィードバックによって約束されるが、しばしば生成AI設定に限定される。 数値的あるいは分類的な出力を持つ従来の非生成的設定では、単一サンプル出力による誤調整を検出することは依然として困難である。 プロパティテストを通じてモデルアライメントを解釈し、アライメントモデル $f$ を関数のサブセット $mathcalP$ に属するものとして定義する。
  論文  参考訳（メタデータ） (2024-06-26T22:24:46Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• Remember What You Want to Forget: Algorithms for Machine Unlearning [37.656345901739506]
  学習モデルからデータポイントを忘れる問題について検討する。 最大$O(n/d1/4)のサンプルを削除できるアンラーニングアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-03-04T19:28:57Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)
• An Algorithm for Learning Smaller Representations of Models With Scarce Data [0.0]
  本稿では,データセットが問題を完全に表現していない場合のバイナリ分類問題の解法を提案する。 我々のアルゴリズムは、基礎となる分布の支持にある多様体をホモロジーに再構成することで機能する。
  論文  参考訳（メタデータ） (2020-10-15T19:17:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。