Fugu-MT 論文翻訳(概要): On Implications of Scaling Laws on Feature Superposition

論文の概要: On Implications of Scaling Laws on Feature Superposition

arxiv url: http://arxiv.org/abs/2407.01459v1
Date: Mon, 1 Jul 2024 16:54:07 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 20:31:30.953062
Title: On Implications of Scaling Laws on Feature Superposition
Title（参考訳）: 特徴重ね合わせにおけるスケーリング法則の影響について
Authors: Pavan Katta,
Abstract要約: この理論的な注記は、法則のスケーリング結果を用いて、次の2つの文は同時に真であるとは限らないと論じている。スパース特徴が層全体に線型に表現されるような重ね合わせ仮説は、特徴表現の完全な理論である。同じデータでトレーニングされ、同等のパフォーマンスを達成する2つのモデルは、同じ特徴を学習する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Using results from scaling laws, this theoretical note argues that the following two statements cannot be simultaneously true: 1. Superposition hypothesis where sparse features are linearly represented across a layer is a complete theory of feature representation. 2. Features are universal, meaning two models trained on the same data and achieving equal performance will learn identical features.
Abstract（参考訳）: この理論的な注記は、法則のスケーリング結果を用いて、次の2つの文は同時に真であることができないと論じている。 1. スパース特徴が層全体に線型に表現されるような重ね合わせ仮説は、特徴表現の完全な理論である。 2. 特徴は普遍的であり、つまり、同じデータで訓練された2つのモデルと同等のパフォーマンスを達成することは、同じ特徴を学習する。

関連論文リスト

Analyzing Neural Scaling Laws in Two-Layer Networks with Power-Law Data Spectra [0.0]
ニューラルスケーリング法則は、深層ニューラルネットワークのパフォーマンスが、トレーニングデータサイズ、モデルの複雑さ、トレーニング時間などの重要な要因とどのようにスケールするかを記述する。我々は, 統計力学の手法を用いて, 生徒-教員間の一パス勾配勾配を解析する。
論文参考訳（メタデータ） (2024-10-11T17:21:42Z)
EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
論文参考訳（メタデータ） (2024-03-26T14:18:43Z)
On Provable Length and Compositional Generalization [7.883808173871223]
一般的なシーケンス・ツー・シーケンスモデルに対して、長さと合成の一般化に関する最初の証明可能な保証を提供する。これらの異なるアーキテクチャの制限容量バージョンは、長さと構成の一般化の両方を達成することを示す。
論文参考訳（メタデータ） (2024-02-07T14:16:28Z)
Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。これらの特徴は特定の変換の下で等価な出力を生成する。反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-10T16:27:12Z)
Curvature-informed multi-task learning for graph networks [56.155331323304]
最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
論文参考訳（メタデータ） (2022-08-02T18:18:41Z)
Alignment-Uniformity aware Representation Learning for Zero-shot Video Classification [3.6954802719347413]
本稿では,目に見えるクラスと目に見えないクラスの両方の表現に対して,アライメントと均一性を保ったエンドツーエンドフレームワークを提案する。実験の結果,UCF101では28.1%,HMDB51では27.0%,SOTAでは28.1%が有意に向上した。
論文参考訳（メタデータ） (2022-03-29T09:21:22Z)
Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文参考訳（メタデータ） (2020-12-31T07:24:30Z)
Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。次に,メッセージのパラメトリゼーション手法を提案する。
論文参考訳（メタデータ） (2020-06-26T17:15:16Z)
Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
論文参考訳（メタデータ） (2020-06-20T02:07:37Z)
Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere [32.0469500831667]
対照的な損失に関連する2つの重要な特性を同定する。コントラスト損失はこれらの特性を最適化し、下流タスクに対する正の効果を解析する。注目すべきは、これらの2つのメトリクスを直接最適化することは、対照的な学習よりも下流のタスクにおける同等または優れたパフォーマンスの表現につながることだ。
論文参考訳（メタデータ） (2020-05-20T17:59:57Z)
Connecting Dualities and Machine Learning [0.0]
二重性は量子場理論や弦理論において、高い精度で相関関数を得るために広く用いられている。ここでは、二値データ表現が教師付き分類、機械学習と理論物理学の典型的なタスクのリンクに有用である例を示す。特徴分離, 所望の表現に対する特徴マッチング, 単純な相関関数の優れた性能により, 未知の2つの表現を導出できることがわかった。
論文参考訳（メタデータ） (2020-02-12T19:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。