論文の概要: Generalization-Memorization Machines
- arxiv url: http://arxiv.org/abs/2207.03976v1
- Date: Fri, 8 Jul 2022 15:55:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 12:45:55.621285
- Title: Generalization-Memorization Machines
- Title(参考訳): 一般化記憶装置
- Authors: Zhen Wang, Yuan-Hai Shao
- Abstract要約: 過度に適合することなくトレーニングデータを正しく分類することは、機械学習の目標のひとつだ。
本稿では,一般化記憶決定とメモリモデリング原理を含む一般化記憶機構を提案する。
このメカニズムの下で、エラーベースの学習機械は、過度に適合することなく、トレーニングデータの記憶能力を向上させる。
- 参考スコア(独自算出の注目度): 9.372278263530154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classifying the training data correctly without over-fitting is one of the
goals in machine learning. In this paper, we propose a
generalization-memorization mechanism, including a generalization-memorization
decision and a memory modeling principle. Under this mechanism, error-based
learning machines improve their memorization abilities of training data without
over-fitting. Specifically, the generalization-memorization machines (GMM) are
proposed by applying this mechanism. The optimization problems in GMM are
quadratic programming problems and could be solved efficiently. It should be
noted that the recently proposed generalization-memorization kernel and the
corresponding support vector machines are the special cases of our GMM.
Experimental results show the effectiveness of the proposed GMM both on
memorization and generalization.
- Abstract(参考訳): オーバーフィッティングなしでトレーニングデータを正しく分類することは、マシンラーニングの目標のひとつだ。
本稿では,一般化記憶決定とメモリモデリングの原理を含む一般化記憶機構を提案する。
このメカニズムの下で、エラーベースの学習機械は過度に適合することなく、トレーニングデータの記憶能力を向上させる。
具体的には、この機構を適用して一般化記憶装置(GMM)を提案する。
GMMの最適化問題は二次プログラミングの問題であり、効率的に解ける。
注意すべきは、最近提案された一般化記憶カーネルと対応するサポートベクトルマシンが、GMMの特別な場合であることである。
実験結果から,提案したGMMが記憶および一般化に与える影響が示された。
関連論文リスト
- Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - A Unified Approach to Controlling Implicit Regularization via Mirror
Descent [18.536453909759544]
ミラー降下(MD)は勾配降下(GD)の顕著な一般化である
MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
論文 参考訳(メタデータ) (2023-06-24T03:57:26Z) - Do Quantum Circuit Born Machines Generalize? [58.720142291102135]
本稿では,量子生成モデルの積分評価指標としてQCBMの一般化性能を示す文献で最初に紹介する。
そこで本研究では,QCBMがデータセットの再重み付けを効果的に学習し,未確認のサンプルをトレーニングセットよりも高い品質で生成可能であることを示す。
論文 参考訳(メタデータ) (2022-07-27T17:06:34Z) - Provable Generalization of Overparameterized Meta-learning Trained with
SGD [62.892930625034374]
我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。
我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。
理論的知見は実験によってさらに検証される。
論文 参考訳(メタデータ) (2022-06-18T07:22:57Z) - A Generalized Weighted Optimization Method for Computational Learning
and Inversion [15.535124460414588]
雑音データを用いた計算学習と逆変換のための一般化された重み付き最小二乗最適化法を解析する。
学習手法の一般化誤差に対する重み付け方式の影響を特徴付ける。
先行知識からの適切な重み付けが学習モデルの一般化能力を向上させることを実証する。
論文 参考訳(メタデータ) (2022-01-23T10:35:34Z) - MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。
MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。
我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2021-11-04T22:38:18Z) - Robustness to Augmentations as a Generalization metric [0.0]
一般化とは、目に見えないドメインを予測するモデルの能力です。
拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。
提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
論文 参考訳(メタデータ) (2021-01-16T15:36:38Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - Modeling Generalization in Machine Learning: A Methodological and
Computational Study [0.8057006406834467]
我々は、機械学習の一般化を評価する際に、トレーニングデータの凸殻の概念を用いる。
機械学習モデルの一般化能力と次元に関するすべての指標との予期せぬ弱い関係を観察する。
論文 参考訳(メタデータ) (2020-06-28T19:06:16Z) - Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。
我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
論文 参考訳(メタデータ) (2020-01-23T02:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。