論文の概要: Generalization-Memorization Machines

• arxiv url: http://arxiv.org/abs/2207.03976v1
• Date: Fri, 8 Jul 2022 15:55:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-11 12:45:55.621285
• Title: Generalization-Memorization Machines
• Title（参考訳）: 一般化記憶装置
• Authors: Zhen Wang, Yuan-Hai Shao
• Abstract要約: 過度に適合することなくトレーニングデータを正しく分類することは、機械学習の目標のひとつだ。 本稿では,一般化記憶決定とメモリモデリング原理を含む一般化記憶機構を提案する。 このメカニズムの下で、エラーベースの学習機械は、過度に適合することなく、トレーニングデータの記憶能力を向上させる。
• 参考スコア（独自算出の注目度）: 9.372278263530154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classifying the training data correctly without over-fitting is one of the goals in machine learning. In this paper, we propose a generalization-memorization mechanism, including a generalization-memorization decision and a memory modeling principle. Under this mechanism, error-based learning machines improve their memorization abilities of training data without over-fitting. Specifically, the generalization-memorization machines (GMM) are proposed by applying this mechanism. The optimization problems in GMM are quadratic programming problems and could be solved efficiently. It should be noted that the recently proposed generalization-memorization kernel and the corresponding support vector machines are the special cases of our GMM. Experimental results show the effectiveness of the proposed GMM both on memorization and generalization.
• Abstract（参考訳）: オーバーフィッティングなしでトレーニングデータを正しく分類することは、マシンラーニングの目標のひとつだ。 本稿では,一般化記憶決定とメモリモデリングの原理を含む一般化記憶機構を提案する。 このメカニズムの下で、エラーベースの学習機械は過度に適合することなく、トレーニングデータの記憶能力を向上させる。 具体的には、この機構を適用して一般化記憶装置(GMM)を提案する。 GMMの最適化問題は二次プログラミングの問題であり、効率的に解ける。 注意すべきは、最近提案された一般化記憶カーネルと対応するサポートベクトルマシンが、GMMの特別な場合であることである。 実験結果から,提案したGMMが記憶および一般化に与える影響が示された。

関連論文リスト

• Gaussian Mixture Models Based Augmentation Enhances GNN Generalization [22.04352144324223]
  本稿では,Rademacher複雑性を用いた理論的枠組みを導入し,一般化誤差を計算した。 このフレームワークは、グラフデータ拡張(GDA)アルゴリズムであるGMM-GDAの設計を通知する。
  論文  参考訳（メタデータ） (2024-11-13T14:26:04Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection [6.759148939470332]
  アルゴリズムは、$ell_p$-normの目的を持つハードマージンSVMに収束することを示す。 具体的には、これらのアルゴリズムは、$ell_p$-normの目的を持つ一般化されたハードマージンSVMに収束することを示す。
  論文  参考訳（メタデータ） (2024-10-18T16:32:06Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• A Unified Approach to Controlling Implicit Regularization via Mirror Descent [18.536453909759544]
  ミラー降下(MD)は勾配降下(GD)の顕著な一般化である MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
  論文  参考訳（メタデータ） (2023-06-24T03:57:26Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• A Generalized Weighted Optimization Method for Computational Learning and Inversion [15.535124460414588]
  雑音データを用いた計算学習と逆変換のための一般化された重み付き最小二乗最適化法を解析する。 学習手法の一般化誤差に対する重み付け方式の影響を特徴付ける。 先行知識からの適切な重み付けが学習モデルの一般化能力を向上させることを実証する。
  論文  参考訳（メタデータ） (2022-01-23T10:35:34Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。