論文の概要: Temporal Regularized Learning: Self-Supervised Learning Local in Space and Time
- arxiv url: http://arxiv.org/abs/2611.17019v1
- Date: Thu, 12 Nov 2026 16:09:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.546204
- Title: Temporal Regularized Learning: Self-Supervised Learning Local in Space and Time
- Title(参考訳): 時間的正規化学習 - 空間と時間の局所的な自己監督型学習
- Abstract要約: 本稿では,自己指導型表現学習のための空間的・時間的局所学習ルールTeReLを紹介する。
実験の目的は、ルールがバックプロパゲーションと競合するのではなく、小さなネットワークで機能することを示すことである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Layer-local self-supervised objectives remove the backward pass between layers, but almost all still compute their loss over a batch of samples and are therefore local in space but not in time. We introduce Temporal Regularized Learning (TeReL), a spatially and temporally local learning rule for self-supervised representation learning from sequential input streams. The key idea is to instantiate a VICReg-style objective with temporally adjacent positives and non-differentiated running population statistics, yielding a per-neuron online loss with bounded state. The objective is a soft form of Slow Feature Analysis, and its gradient is a Hebbian update of the feedforward weights and an anti-Hebbian update of one lateral matrix per layer. The aim of the experiments is to show that the rule works in a small network, not to compete with backpropagation. On a class-chunked MNIST stream, a two-layer fully connected network trained with batch size one outperforms random features (96.48% versus 95.09% linear-probe accuracy) and classical SFA, and a variant that relaxes both locality constraints is comparable to supervised backpropagation. Because training and inference use the same computation, the network can keep learning from unlabeled data during inference without loss of accuracy.
- Abstract(参考訳): レイヤローカルな自己管理目的は、レイヤ間の後方パスを取り除くが、ほとんどの場合、サンプルのバッチで損失を計算し、したがって空間は局所的であるが、時間内にはない。
逐次入力ストリームからの自己教師付き表現学習のための空間的かつ時間的に局所的な学習ルールであるTeReLを導入する。
鍵となる考え方は、VICRegスタイルの目的を時間的に隣接した正の値と非分化型ランニング人口統計でインスタンス化し、境界状態でニューロンごとのオンライン損失を発生させることである。
目的はSlow Feature Analysisのソフトな形態であり、その勾配はフィードフォワード重量のヘビアン更新と、層ごとの1つの横行列の反ヘビアン更新である。
実験の目的は、ルールがバックプロパゲーションと競合するのではなく、小さなネットワークで機能することを示すことである。
クラスチャンクされたMNISTストリームでは、バッチサイズで訓練された2層ネットワークがランダムな特徴(96.48%対95.09%の線形プローブ精度)と古典的なSFAより優れており、両方の局所性制約を緩和する変種は教師付きバックプロパゲーションに匹敵する。
トレーニングと推論は同じ計算を使用するため、ネットワークは精度を失うことなく、推論中にラベルのないデータから学習を続けることができる。
関連論文リスト
- Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。
完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
論文 参考訳(メタデータ) (2026-10-04T17:37:49Z) - Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。
FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。
推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
論文 参考訳(メタデータ) (2026-02-12T18:54:57Z) - Can Local Representation Alignment RNNs Solve Temporal Tasks? [1.1085024199293136]
リカレントニューラルネットワーク(RNN)は、リアルタイム処理、ストリーミングデータ、トレーニングサンプルの量を制限するケースに一般的に使用される。
BPTTはRNNを訓練するための主要なアルゴリズムであるが、爆発し、勾配が消えやすいとしばしば批判されている。
本稿では,ローカル更新を用いて,その不安定性を低減しようとするRNNに対して,ターゲット伝搬に基づく手法を提示し,評価する。
論文 参考訳(メタデータ) (2025-04-18T07:48:48Z) - Continual Test-Time Domain Adaptation [94.51284735268597]
テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。
CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
論文 参考訳(メタデータ) (2022-03-25T11:42:02Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳(メタデータ) (2021-10-05T11:36:25Z) - Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks [14.685237010856953]
我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
論文 参考訳(メタデータ) (2021-09-30T12:56:57Z) - LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。
このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文 参考訳(メタデータ) (2020-08-04T05:41:29Z) - Supervised Learning in Temporally-Coded Spiking Neural Networks with
Approximate Backpropagation [0.021506382989223777]
本稿では,時間的に符号化された多層スパイキングネットワークのための教師付き学習手法を提案する。
この方法はバックプロパゲーションを模倣する強化信号を用いるが、計算集約性ははるかに低い。
シミュレーションされたMNIST手書き桁分類では、このルールで訓練された2層ネットワークは、同等のバックプロパゲーションベースの非スパイキングネットワークの性能と一致した。
論文 参考訳(メタデータ) (2020-07-27T03:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。