論文の概要: A theory for the sparsity emerged in the Forward Forward algorithm

• arxiv url: http://arxiv.org/abs/2311.05667v1
• Date: Thu, 9 Nov 2023 14:08:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 17:01:13.738868
• Title: A theory for the sparsity emerged in the Forward Forward algorithm
• Title（参考訳）: フォワードフォワードアルゴリズムにおけるスパーシティの理論
• Authors: Yukun Yang
• Abstract要約: 本報告では,フォワードフォワードアルゴリズムであるcitephinton2022forward で観測された高間隔現象 citeptosato2023 を説明する。 提案された2つの定理は、単一のデータポイントのアクティベーションの空間的変化を2つのケースで予測する。
• 参考スコア（独自算出の注目度）: 1.2276646103991458
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This report explores the theory that explains the high sparsity phenomenon \citep{tosato2023emergent} observed in the forward-forward algorithm \citep{hinton2022forward}. The two theorems proposed predict the sparsity changes of a single data point's activation in two cases: Theorem \ref{theorem:1}: Decrease the goodness of the whole batch. Theorem \ref{theorem:2}: Apply the complete forward forward algorithm to decrease the goodness for negative data and increase the goodness for positive data. The theory aligns well with the experiments tested on the MNIST dataset.
• Abstract（参考訳）: 本報告では、フォワードフォワードアルゴリズムで観測された高間隔現象 \citep{tosato2023emergent} を説明する。 提案された2つの定理は、単一のデータポイントのアクティベーションの間隔変化を2つのケースで予測する: Theorem \ref{theorem:1}: バッチ全体の良さを減少させる。 theorem \ref{theorem:2}: 負のデータの良し悪しを減少させ、正のデータの良し悪しを高めるために完全前方アルゴリズムを適用する。 この理論は、MNISTデータセットで試験された実験とよく一致している。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• When is invariance useful in an Out-of-Distribution Generalization problem ? [19.696505968699206]
  Out-of-Distribution (OOD) の一般化問題は、すべての環境で一般化する予測器を訓練することである。 この分野の一般的なアプローチは、そのような予測器は環境全体にわたって一定であるメカニズムをキャプチャするテクスティ不変な予測器であるべきであるという仮説を用いる。 本稿では,OODの最適性を達成するために,不変予測器に必要な新しい理論条件を提案する。
  論文  参考訳（メタデータ） (2020-08-04T23:57:11Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。