論文の概要: What Does Goodness Measure? A Likelihood-Ratio Account of Forward-Forward Learning

• arxiv url: http://arxiv.org/abs/2607.12501v2
• Date: Wed, 15 Jul 2026 09:07:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 12:21:59.575991
• Title: What Does Goodness Measure? A Likelihood-Ratio Account of Forward-Forward Learning
• Title（参考訳）: 善は何を測るか : 前向き学習の比例
• Abstract要約: フォワード・フォワードアルゴリズムは各層を局所的に訓練し、スカラーの良さは実際の入力で高く、コントラストで低い。 異方性集団はマハラノビスの良さをもたらすが、平方形はその等方性の場合である。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Forward-Forward (FF) algorithm trains each layer locally, so that a scalar goodness - the sum of squared activations - is high on real inputs and low on contrastive ones, with activations normalized between layers. Both choices are usually treated as heuristics. Under an explicit generative model they are not: the squared goodness is the sufficient statistic of a likelihood-ratio test between two zero-mean populations differing in scale, and the FF threshold is its boundary. It generalizes: anisotropic populations yield a Mahalanobis goodness, the plain square being its isotropic case; heavy-tailed populations yield a saturating statistic whose slope is a posterior precision - divisive normalization - with bounded evidence and an advantage only under aggregation. The same lens characterizes the inter-layer normalization: it must remove the length while preserving per-coordinate energy, explaining a depth collapse we observe under unit-norm normalization; and the pairwise objective admits a scale-inflation shortcut that a whitened goodness removes.
• Abstract（参考訳）: フォワード・フォワード(FF)アルゴリズムは各層を局所的に訓練するため、スカラーの良さ(二乗アクティベーションの合計)は実際の入力で高く、対照的にアクティベーションは層間で正規化されている。 どちらの選択も通常ヒューリスティックとして扱われる。 平方良性は、スケールで異なる2つのゼロ平均集団間の確率比テストの十分な統計量であり、FF閾値はその境界である。 異方性人口はマハラノビスの良さ、平方形はその等方性である; 重い尾を持つ人口は、傾きが後部精度 - 分割正規化 - で、有界な証拠と、集合の下でのみ有利な飽和統計値を得る。 同じレンズは層間正規化を特徴付けており、座標毎のエネルギーを保ちながら長さを除去し、単位ノルム正規化の下で観察する深さの崩壊を説明する。

関連論文リスト

• When Edit Localization Amplifies Relative Selection Bias: Gradient Geometry, Target Mismatch, and Importance Weighting [3.3064716080580716]
  人間の修正は編集可能なスパンを識別するが、修正を受ける例は選択的なフィードバックチャネルから来る可能性がある。 固定モデルチェックポイントにおけるこの相互作用を、局所化勾配により、編集および保持されたパラメータに解析する。
  論文  参考訳（メタデータ） (2026-09-12T04:38:50Z)
• Augmented transfer regression learning for completely missing covariates [0.8603348174612194]
  大規模な集団レベルのデータセットは、遺伝的、ライフスタイルなどの特定の分析に必要な共変量を持たないことが多いが、関連する研究はそれらを測定している。 これにより、クロスポピュレーションの欠落したデータ問題が発生する。 本稿では,この設定のための拡張転送回帰学習法を提案する。
  論文  参考訳（メタデータ） (2026-05-06T03:48:28Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Simulation-based Inference with the Generalized Kullback-Leibler Divergence [8.868822699365618]
  目的は、確率が暗黙的にのみ知られている場合の逆問題を解決することである。 本研究では,正規化された基底分布と学習比率を学習することで,両世界の長所を提供するハイブリッドモデルについて検討する。
  論文  参考訳（メタデータ） (2023-10-03T05:42:53Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Probing the randomness of ergodic states: extreme-value statistics in the ergodic and many-body-localized phases [0.0]
  多体局在遷移を有する乱れたスピン鎖における絡み合いスペクトルの極値統計について検討した。 特に、固有値の密度は普遍的なマルテンコ・パストゥル分布に従わなければならない。 重み付き分布とL'evy 安定な法則は、最大値と第二大固有値の適切にスケールされた関数である。
  論文  参考訳（メタデータ） (2020-02-03T12:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。