論文の概要: Is Memorization Helpful or Harmful? Prior Information Sets the Threshold

• arxiv url: http://arxiv.org/abs/2602.09405v1
• Date: Tue, 10 Feb 2026 04:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.376411
• Title: Is Memorization Helpful or Harmful? Prior Information Sets the Threshold
• Title（参考訳）: 記憶は役に立たないのか、それとも有害なのか?
• Authors: Chen Cheng, Rina Foygel Barber,
• Abstract要約: 我々は,事前分布に固有の因子が$$であることに気付き,最適な一般化を行うためには,学習誤差がノイズサイズに対してほぼ補間される必要があることを明示した条件を与える。 注目すべきは、これらの現象はフィッシャー情報と以前の$$の分散パラメータによって決定された閾値に達したときに発生する。
• 参考スコア（独自算出の注目度）: 10.448428219575403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We examine the connection between training error and generalization error for arbitrary estimating procedures, working in an overparameterized linear model under general priors in a Bayesian setup. We find determining factors inherent to the prior distribution $π$, giving explicit conditions under which optimal generalization necessitates that the training error be (i) near interpolating relative to the noise size (i.e., memorization is necessary), or (ii) close to the noise level (i.e., overfitting is harmful). Remarkably, these phenomena occur when the noise reaches thresholds determined by the Fisher information and the variance parameters of the prior $π$.
• Abstract（参考訳）: 本研究では,任意の推定手順におけるトレーニング誤差と一般化誤差の関連性について検討し,ベイズセットアップにおける一般事前の過度パラメータ化線形モデルを用いて検討する。 我々は、事前の分布に固有の決定因子を見つけ、最適一般化がトレーニング誤差を必要とする明示的な条件を与える。 一 音の大きさ(暗記が必要)に対する補間に近いもの (ii)騒音レベルに近い(すなわち、過度な適合は有害である)。 注目すべきことに、これらの現象はフィッシャー情報と以前の$π$の分散パラメータによって決定される閾値に達したときに起こる。

関連論文リスト

• Online Linear Regression with Paid Stochastic Features [30.17994138589359]
  本研究では,観測された特徴ベクトルが雑音によって劣化し,学習者がノイズレベルを低減するために支払うことができるオンライン線形回帰設定について検討する。 本研究では,線形予測器に対する学習者の後悔度を,予測誤差と支払量を組み合わせた損失の概念を最小化する。
  論文  参考訳（メタデータ） (2025-11-11T10:19:24Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Label Noise: Correcting the Forward-Correction [0.0]
  ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
  論文  参考訳（メタデータ） (2023-07-24T19:41:19Z)
• Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage [24.40306100502023]
  我々は,雑音学習アルゴリズムのクラスにおける一般化挙動を解析するために,情報理論の枠組みを採用する。 更新関数の仮定が雑音の最適選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-02-28T12:13:57Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• The price of ignorance: how much does it cost to forget noise structure in low-rank matrix estimation? [21.3083877172595]
  本稿では,構造的回転不変雑音によるランク1信号の誤差を推定する問題を考察する。 我々は,ノイズ統計量である強いミスマッチ源の効果を理解するための一歩を踏み出した。 この性能差は信号ノルムの誤推定によるものであることを示す。
  論文  参考訳（メタデータ） (2022-05-20T07:54:21Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。