論文の概要: Overparameterized (robust) models from computational constraints
- arxiv url: http://arxiv.org/abs/2208.12926v1
- Date: Sat, 27 Aug 2022 04:50:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 13:07:06.365344
- Title: Overparameterized (robust) models from computational constraints
- Title(参考訳): 計算制約による過パラメータ(ロバスト)モデル
- Authors: Sanjam Garg, Somesh Jha, Saeed Mahloujifar, Mohammad Mahmoody,
Mingyuan Wang
- Abstract要約: パラメータの少ないモデルを得るために,強調文を計算的に有界にすることができることを示す。
また、堅牢な学習には、さらに多くのモデルパラメータが必要であることも示しています。
- 参考スコア(独自算出の注目度): 36.06008129636809
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Overparameterized models with millions of parameters have been hugely
successful. In this work, we ask: can the need for large models be, at least in
part, due to the \emph{computational} limitations of the learner? Additionally,
we ask, is this situation exacerbated for \emph{robust} learning? We show that
this indeed could be the case. We show learning tasks for which computationally
bounded learners need \emph{significantly more} model parameters than what
information-theoretic learners need. Furthermore, we show that even more model
parameters could be necessary for robust learning. In particular, for
computationally bounded learners, we extend the recent result of Bubeck and
Sellke [NeurIPS'2021] which shows that robust models might need more
parameters, to the computational regime and show that bounded learners could
provably need an even larger number of parameters. Then, we address the
following related question: can we hope to remedy the situation for robust
computationally bounded learning by restricting \emph{adversaries} to also be
computationally bounded for sake of obtaining models with fewer parameters?
Here again, we show that this could be possible. Specifically, building on the
work of Garg, Jha, Mahloujifar, and Mahmoody [ALT'2020], we demonstrate a
learning task that can be learned efficiently and robustly against a
computationally bounded attacker, while to be robust against an
information-theoretic attacker requires the learner to utilize significantly
more parameters.
- Abstract(参考訳): 数百万のパラメータを持つ過パラメータ化モデルは、非常に成功した。
大規模モデルの必要性は、少なくとも部分的には、学習者の \emph{computational} 制限のためにあるのだろうか?
さらに、この状況は \emph{robust} 学習を悪化させるのでしょうか?
これは本当にあり得ることを示しています。
情報理論学習者に必要なパラメータよりも,計算的に有界な学習者に必要なモデルパラメータを必要とする学習タスクを示す。
さらに,頑健な学習にはさらに多くのモデルパラメータが必要であることを示す。
特に、計算的に有界な学習者に対しては、頑健なモデルがより多くのパラメータを必要とする可能性があることを示すBubeck and Sellke [NeurIPS'2021]の最近の結果を拡張し、有界な学習者がさらに多くのパラメータを必要とすることを示す。
emph{adversaries} を限定することで、より少ないパラメータのモデルを得るために計算的に有界になることで、堅牢な計算的有界学習の状況を改善することができるか?
ここでも、これが可能であることを示す。
具体的には、Garg, Jha, Mahloujifar, Mahmoody (ALT'2020) の作業に基づいて、情報理論攻撃者に対して堅牢であるためには、学習者がはるかに多くのパラメータを利用する必要がある一方で、計算的に拘束された攻撃者に対して効率的かつ堅牢に学習できる学習タスクを実証する。
関連論文リスト
- Language models scale reliably with over-training and on downstream
tasks [116.41529786970355]
スケーリング法則は言語モデルを開発する上で有用なガイドである。
現在のスケーリング研究と、言語モデルが最終的にトレーニングされ、評価される方法には、まだギャップがあります。
論文 参考訳(メタデータ) (2024-03-13T13:54:00Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T02:39:04Z) - Parameters or Privacy: A Provable Tradeoff Between Overparameterization
and Membership Inference [29.743945643424553]
オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。
このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
論文 参考訳(メタデータ) (2022-02-02T19:00:21Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - Is the Number of Trainable Parameters All That Actually Matters? [2.624902795082451]
スケーリング法を仮に騙し、より大規模なモデルを安価にトレーニングする方法を調査する。
テスト損失と計算の間のスケーリングの関係は、トレーニング可能なパラメータの実際の数にのみ依存することがわかった。
論文 参考訳(メタデータ) (2021-09-24T12:43:58Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳(メタデータ) (2021-02-11T16:27:31Z) - Limitations of Autoregressive Models and Their Alternatives [31.827580420643606]
これらの制限は、モデルをトレーニングするのにどれだけの計算とデータが使われようとも適用されます。
エネルギーベースのモデル(効率的なサンプリングを諦める)と潜在変数の自己回帰モデル(与えられた文字列の効率的なスコアを諦める)は、これらの制限から逃れるには十分強力である。
論文 参考訳(メタデータ) (2020-10-22T17:59:09Z) - Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。
我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。
CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。
以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
論文 参考訳(メタデータ) (2020-09-01T16:20:11Z) - How fine can fine-tuning be? Learning efficient language models [8.25186900320093]
大量のラベルのないテキストコーパスで事前訓練された言語モデルを考えると、タスクを学習するためには、非常に軽い教師付き微調整しか必要ありません。
もっとも重要なレイヤのみを微調整するのに十分であることを示す。
その結果、事前訓練されたパラメータの特定の層に一定の数のエントリを0に設定するだけで、巨大な言語モデルの微調整が実現できる。
論文 参考訳(メタデータ) (2020-04-24T20:31:28Z) - Cryptanalytic Extraction of Neural Network Models [56.738871473622865]
遠隔モデルのパラメータを浮動小数点精度まで効率的に盗むことができる差動攻撃を導入する。
我々の攻撃は、ReLUニューラルネットワークが一括線形関数であるという事実に依存している。
220倍の正確さと100倍のクエリを必要とするモデルを抽出する。
論文 参考訳(メタデータ) (2020-03-10T17:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。