論文の概要: The Copycat Perceptron: Smashing Barriers Through Collective Learning
- arxiv url: http://arxiv.org/abs/2308.03743v2
- Date: Tue, 12 Dec 2023 14:13:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 19:53:05.913892
- Title: The Copycat Perceptron: Smashing Barriers Through Collective Learning
- Title(参考訳): Copycatのパーセプトロン:集団学習でバリアを壊す
- Authors: Giovanni Catania, Aur\'elien Decelle, and Beatriz Seoane
- Abstract要約: 本研究では,各学生の一般化性能に影響を及ぼすサーマルノイズが存在する場合の一般的な設定を解析する。
非ゼロ温度状態において、レプリカのカップリングは、より小さな$alpha$の値に対して位相図の曲がりを生じさせる。
これらの結果は、最近推測されたReplicated Simulated Annealingのベイズ最適性に関する解析的および数値的な証拠を与える。
- 参考スコア(独自算出の注目度): 1.0923877073891446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We characterize the equilibrium properties of a model of $y$ coupled binary
perceptrons in the teacher-student scenario, subject to a learning rule, with
an explicit ferromagnetic coupling proportional to the Hamming distance between
the students' weights. In contrast to recent works, we analyze a more general
setting in which thermal noise is present that affects each student's
generalization performance. In the nonzero temperature regime, we find that the
coupling of replicas produces a bend of the phase diagram towards smaller
values of $\alpha$: This suggests that the free energy landscape gets smoother
around the solution with perfect generalization (i.e., the teacher's) at a
fixed fraction of examples, allowing standard thermal updates such as Simulated
Annealing to easily reach the teacher solution and avoid entrapment in
metastable states as it happens in the unreplicated case, even in the so-called
computationally easy regime. These results provide additional analytic and
numerical evidence for the recently conjectured Bayes-optimal property of
Replicated Simulated Annealing (RSA) for a sufficient number of replicas. From
a learning perspective, these results also suggest that multiple students
working together (in this case reviewing the same data) are able to learn the
same rule both significantly faster and with fewer examples, a property that
could be exploited in the context of cooperative and federated learning.
- Abstract(参考訳): 教師・学生シナリオにおけるy$結合二元パーセプトロンモデルの平衡特性を, 学習則に従えば, 生徒の重み間のハミング距離に比例する明示的な強磁性結合によって特徴づける。
最近の研究とは対照的に、各学生の一般化性能に影響を与える熱ノイズが存在するというより一般的な設定を解析する。
In the nonzero temperature regime, we find that the coupling of replicas produces a bend of the phase diagram towards smaller values of $\alpha$: This suggests that the free energy landscape gets smoother around the solution with perfect generalization (i.e., the teacher's) at a fixed fraction of examples, allowing standard thermal updates such as Simulated Annealing to easily reach the teacher solution and avoid entrapment in metastable states as it happens in the unreplicated case, even in the so-called computationally easy regime.
これらの結果は、十分な数のレプリカに対して、複製されたシミュレーションアニーリング(rsa)のベイズ最適特性について、解析的および数値的証拠を提供する。
学習の観点から、これらの結果は、複数の学生(この場合、同じデータをレビューする)が、協力的および連合的学習の文脈で活用できる特性として、同じルールを著しく高速かつ少ない例で学習できることを示唆している。
関連論文リスト
- CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。
本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。
CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
論文 参考訳(メタデータ) (2024-04-22T11:52:40Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Less or More From Teacher: Exploiting Trilateral Geometry For Knowledge
Distillation [21.913044821863636]
本稿では,サンプル単位の知識融合比を学習するための新しい適応手法を提案する。
我々は,教師と生徒の正しさを両立させ,生徒が各サンプルに対していかにその教師を模倣するかを考察する。
単純なニューラルネットワークは、サンプル内およびサンプル間関係から適応的、サンプル単位の知識融合比への暗黙のマッピングを学習する。
論文 参考訳(メタデータ) (2023-12-22T23:16:13Z) - Statistical Mechanics of Learning via Reverberation in Bidirectional
Associative Memories [0.0]
ランダムなアーチタイプのノイズに曝される双方向連想ニューラルネットワークについて検討する。
この設定では、学習はヘテロアソシエイトな -- パターンのカップルを含む -- であり、サンプルから表現された情報をリバーバリングすることで達成される。
論文 参考訳(メタデータ) (2023-07-17T10:04:04Z) - Collective Radiative Interactions in the Discrete Truncated Wigner
Approximation [0.0]
サブ波長間隔での原子配列の超輝度は、かなりの関心を取り戻している。
この問題に対する半古典的なアプローチを開発し、相互作用するスピンのコヒーレントで散逸的な多体ダイナミクスを記述する。
小さなアレイの場合、正確なシミュレーションと2階累積展開と比較する。
空間的に拡張された3次元コヒーレントに駆動された気体の放射特性を調べた。
論文 参考訳(メタデータ) (2023-05-31T13:11:32Z) - Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in
Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。
本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。
我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文 参考訳(メタデータ) (2022-10-04T04:01:15Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳(メタデータ) (2022-01-08T07:48:36Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:50:11Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳(メタデータ) (2020-11-04T21:04:02Z) - Extreme Memorization via Scale of Initialization [72.78162454173803]
我々は,初期化の規模を変えることが,SGDによって誘導される暗黙の正規化に強く影響を与える実験装置を構築する。
一般化能力に影響を及ぼす範囲と方法が、使用したアクティベーションと損失関数に依存することがわかった。
均質なReLU活性化の場合、この挙動は損失関数に起因することが示される。
論文 参考訳(メタデータ) (2020-08-31T04:53:11Z) - Structure Learning in Inverse Ising Problems Using $\ell_2$-Regularized
Linear Estimator [8.89493507314525]
モデルミスマッチにも拘わらず,正則化を伴わずに線形回帰を用いてネットワーク構造を完璧に識別できることを示す。
本稿では,2段階推定器を提案する。第1段階では隆起回帰を用い,比較的小さな閾値で推算を行う。
適切な正規化係数としきい値を持つ推定器は、0M/N1$でもネットワーク構造の完全同定を実現する。
論文 参考訳(メタデータ) (2020-08-19T09:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。