論文の概要: Multi-Frequency Local Plasticity for Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2604.09734v1
• Date: Thu, 09 Apr 2026 18:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.640553
• Title: Multi-Frequency Local Plasticity for Visual Representation Learning
• Title（参考訳）: 視覚表現学習のための多周波局所塑性
• Authors: Mehdi Fatan Serj, C. Alejandro Parraga, Xavier Otazu,
• Abstract要約: 本研究では,視覚認識におけるエンドツーエンドの勾配に基づく表現学習の欠如を補う構造的アーキテクチャバイアスについて検討する。 i) 固定多周波ガボルのF=7並列ストリームへの分解, (ii) ヘビアンとオジャの更新と反ヘビアンデコリレーションによるストリーム内競合学習, (iii) 現代のホプフィールド検索にインスパイアされた連想メモリモジュール。
• 参考スコア（独自算出の注目度）: 0.40048696135519796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how far structured architectural bias can compensate for the absence of end-to-end gradient-based representation learning in visual recognition. Building on the VisNet tradition, we introduce a modular hierarchical framework combining: (i) fixed multi-frequency Gabor decomposition into F=7 parallel streams; (ii) within-stream competitive learning with Hebbian and Oja updates and anti-Hebbian decorrelation; (iii) an associative memory module inspired by modern Hopfield retrieval; and (iv) iterative top-down modulation using local prediction and reconstruction signals. Representational layers are trained without end-to-end backpropagation through the full hierarchy; only the final linear readout and top-down projection matrices are optimized by gradient descent. We therefore interpret the model as a hybrid system that is predominantly locally trained but includes a small number of gradient-trained parameters. On CIFAR-10, the full model reaches 80.1% +/- 0.3% top-1 accuracy, linear probe), compared with 71.0% for a Hebbian-only baseline and 83.4% for a gradient-trained model on the same fixed Gabor basis. On CIFAR-100, performance is 54.8%. Factorial analysis indicates that multi-frequency streams, associative memory, and top-down feedback contribute largely additively, with a significant Streams x TopDown interaction (p=0.02). These results suggest that carefully chosen architectural priors can recover a substantial fraction of the performance typically associated with global gradient training, while leaving a measurable residual gap. Experiments are limited to CIFAR-10/100.
• Abstract（参考訳）: 本研究では,視覚認識におけるエンドツーエンドの勾配に基づく表現学習の欠如を補う構造的アーキテクチャバイアスについて検討する。 VisNetの伝統に基づいて、モジュール型の階層型フレームワークを導入します。 (i)F=7並列ストリームへの固定多周波ガボル分解 (二) Hebbian と Oja のアップデートと反 Hebbian decorrelation によるストリーム内競争学習 三 近代ホップフィールド検索に触発された連想記憶モジュール、及び (4)局所予測と再構成信号を用いた反復的トップダウン変調 表現層は、完全な階層を通してエンドツーエンドのバックプロパゲーションなしで訓練され、最終線形読み出し行列とトップダウン投影行列のみが勾配降下によって最適化される。 したがって、モデルを主に局所的に訓練されるが、少数の勾配学習パラメータを含むハイブリッドシステムと解釈する。 CIFAR-10では、完全モデルは80.1%+/-0.3%のトップ-1精度、線形プローブ)、ヘビアンのみのベースラインでは71.0%、同じ固定ガボルベースでは83.4%に達する。 CIFAR-100では、パフォーマンスは54.8%である。 因子分析により、多周波ストリーム、連想メモリ、トップダウンフィードバックが、ストリームxトップダウン相互作用(p=0.02)を有意に付加することが明らかとなった。 これらの結果は、慎重に選択されたアーキテクチャの先駆者は、測定可能な残差を保ちながら、大域的な勾配トレーニングに関連するパフォーマンスのかなりの部分を取り戻すことができることを示唆している。 実験はCIFAR-10/100に限られている。

関連論文リスト

• GRADE: Replacing Policy Gradients with Backpropagation for LLM Alignment [0.0]
  GRADEは、高分散ポリシー勾配推定を直接バックプロパゲーションに置き換える手法である。 GRADE-STEはPPOの0.510+-0.313とREINFORCEの0.617+-0.378と比較して0.763+-0.344の試験報酬を得る。
  論文  参考訳（メタデータ） (2025-12-30T03:45:32Z)
• Synergistic Feature Fusion for Latent Lyrical Classification: A Gated Deep Learning Architecture [0.0]
  本研究は,複雑で高次元の深い意味的特徴を,論理的内容分類のための単純かつ解釈可能な構造的手がかりと統合するという課題に対処する。 低次元補助的特徴(Fstruct)を用いた意味-BERT埋め込み(Fdeep)を修飾するためのゲート機構を利用したディープラーニングモデルであるSFLアーキテクチャを提案する。 SFLモデルは精度0.9894、マクロF1スコア0.9894を達成し、特徴連結を用いた総合ランダムフォレスト(RF)ベースラインを上回った。
  論文  参考訳（メタデータ） (2025-11-11T21:12:52Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• Improving Progressive Generation with Decomposable Flow Matching [50.63174319509629]
  Decomposable Flow Matching (DFM)は、ビジュアルメディアのプログレッシブな生成のためのシンプルで効果的なフレームワークである。 Imagenet-1k 512pxでは、DFMはベースアーキテクチャよりも35.2%改善され、ベースラインは26.4%向上した。
  論文  参考訳（メタデータ） (2025-06-24T17:58:02Z)
• CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up [64.38715211969516]
  CLEARと呼ばれる畳み込み型ローカルアテンション戦略を導入し,各クエリトークンの周囲のローカルウィンドウに特徴的インタラクションを限定する。 実験により,10K反復で10Kの自己生成サンプルに注意層を微調整することにより,事前学習したDiTから線形複雑度のある学生モデルへの知識伝達を効果的に行うことができた。
  論文  参考訳（メタデータ） (2024-12-20T17:57:09Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Recycling Model Updates in Federated Learning: Are Gradient Subspaces Low-Rank? [26.055358499719027]
  本稿では,この低ランク性を利用して勾配リサイクルを実現する「Look-back Gradient Multiplier(LBGM)」アルゴリズムを提案する。 我々は,LBGMの収束挙動を解析的に特徴付け,通信貯蓄とモデル性能のトレードオフの性質を明らかにする。 LBGMは,既存の分散モデルトレーニングのためのスペーシフィケーション技術の上に,スタンドアロンあるいは積み重ねて使用可能な汎用的なプラグアンドプレイアルゴリズムであることを示す。
  論文  参考訳（メタデータ） (2022-02-01T09:05:32Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation [72.41370576242116]
  フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。 ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。 実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-01-17T07:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。