論文の概要: A Generalized Weighted Optimization Method for Computational Learning and Inversion

• arxiv url: http://arxiv.org/abs/2201.09223v1
• Date: Sun, 23 Jan 2022 10:35:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-25 17:47:54.549299
• Title: A Generalized Weighted Optimization Method for Computational Learning and Inversion
• Title（参考訳）: 計算学習とインバージョンのための一般化重み付き最適化法
• Authors: Kui Ren, Yunan Yang and Bj\"orn Engquist
• Abstract要約: 雑音データを用いた計算学習と逆変換のための一般化された重み付き最小二乗最適化法を解析する。 学習手法の一般化誤差に対する重み付け方式の影響を特徴付ける。 先行知識からの適切な重み付けが学習モデルの一般化能力を向上させることを実証する。
• 参考スコア（独自算出の注目度）: 15.535124460414588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generalization capacity of various machine learning models exhibits different phenomena in the under- and over-parameterized regimes. In this paper, we focus on regression models such as feature regression and kernel regression and analyze a generalized weighted least-squares optimization method for computational learning and inversion with noisy data. The highlight of the proposed framework is that we allow weighting in both the parameter space and the data space. The weighting scheme encodes both a priori knowledge on the object to be learned and a strategy to weight the contribution of different data points in the loss function. Here, we characterize the impact of the weighting scheme on the generalization error of the learning method, where we derive explicit generalization errors for the random Fourier feature model in both the under- and over-parameterized regimes. For more general feature maps, error bounds are provided based on the singular values of the feature matrix. We demonstrate that appropriate weighting from prior knowledge can improve the generalization capability of the learned model.
• Abstract（参考訳）: 様々な機械学習モデルの一般化能力は、低パラメータと過パラメータの領域で異なる現象を示す。 本稿では,特徴回帰やカーネル回帰といった回帰モデルに着目し,ノイズデータを用いた計算学習と逆解析のための一般化重み付き最小二乗最適化法を解析する。 提案フレームワークのハイライトは、パラメータ空間とデータ空間の両方で重み付けを可能にすることである。 重み付け方式は、学習対象に関する事前知識と、損失関数における異なるデータポイントの寄与を重み付けするための戦略の両方を符号化する。 ここでは、重み付け方式が学習手法の一般化誤差に与える影響を特徴付け、アンダーパラメータ化とオーバーパラメータ化の両方でランダムフーリエ特徴モデルに対する明示的な一般化誤差を導出する。 より一般的な特徴写像に対して、誤差境界は特徴行列の特異値に基づいて与えられる。 先行知識からの適切な重み付けが学習モデルの一般化能力を向上させることを実証する。

関連論文リスト

• Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression [5.801904710149222]
  機械学習において、スケーリング法則は、モデルとデータサイズをスケールアップすることで、モデルパフォーマンスがどのように改善されるかを記述する。 本稿では,2次パラメータ化モデルを用いた線形回帰のスケーリング法則について検討する。 その結果、正準線形回帰では、特徴学習による一般化と不要な曲線と、パラメトリゼーション法とアルゴリズムに対する情報理論の下界との明確な分離が提供される。
  論文  参考訳（メタデータ） (2025-02-13T09:29:04Z)
• On improving generalization in a class of learning problems with the method of small parameters for weakly-controlled optimal gradient systems [0.0]
  制御入力が非線形項の係数としてシステム力学に入力される弱制御勾配系の変分問題を考える。 摂動理論を用いて、最適化問題の列を解くことができる結果を提供する。 また、そのような近似最適解に対する収束率を推定する。
  論文  参考訳（メタデータ） (2024-12-11T20:50:29Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Learning to Refit for Convex Learning Problems [11.464758257681197]
  ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。 我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
  論文  参考訳（メタデータ） (2021-11-24T15:28:50Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
  合成データセットの一般線形回帰と分類について検討した。 我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。 閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。 隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
  論文  参考訳（メタデータ） (2020-02-21T14:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。