論文の概要: Where to Bind Matters: Hebbian Fast Weights in Vision Transformers for Few-Shot Character Recognition

• arxiv url: http://arxiv.org/abs/2605.02920v1
• Date: Wed, 22 Apr 2026 01:15:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.526193
• Title: Where to Bind Matters: Hebbian Fast Weights in Vision Transformers for Few-Shot Character Recognition
• Title（参考訳）: 接点と接点:フットショット文字認識のための視覚変換器におけるヘビアン・ファストウェイト
• Authors: Gavin Money, Sindhuja Penchala, Jiacheng Li, Noorbakhsh Amiri Golilarz,
• Abstract要約: 我々は,変圧器のバックボーンに統合されたヘビアン・ファストウェイト加群について実証的研究を行った。 ViT,DeiT,Swin,ViT-Hebbian,DeiT-Hebbian,Swin-Hebbianの6つのモデル変異体を5-way 1-shotと5-way 5-shotの分類タスクで評価した。
• 参考スコア（独自算出の注目度）: 4.755303069157979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard transformer architectures learn fixed slow-weight representations during training and lack mechanisms for rapid adaptation within an episode. In contrast, biological neural systems address this through fast synaptic updates that form transient associative memories during inference, a property known as Hebbian plasticity. In this paper, we conduct an empirical study of Hebbian Fast-Weight (HFW) modules integrated into multiple transformer backbones, including ViT-Small, DeiT-Small, and Swin-Tiny. We evaluate six model variants: ViT, DeiT, Swin, ViT-Hebbian, DeiT-Hebbian, and Swin-Hebbian on 5-way 1-shot and 5-way 5-shot classification tasks using the Omniglot benchmark under a Prototypical Network meta-learning framework. We propose a single module placement strategy for Swin-Tiny in which one HFW module is applied to the final stage feature map after all hierarchical stages have completed. This design avoids the training instability caused by placing separate Hebbian modules at each stage and achieves the highest test accuracy across all six models (96.2\% at 1-shot; 99.2\% at 5-shot), outperforming its non-Hebbian baseline by $+0.3$ percentage points at 1-shot. We analyze the interaction between Swin's shifted window inductive bias and episode-level Hebbian binding, discuss why per-block placement fails for ViT and DeiT variants in a low-data regime, and situate the results within the wider literature on fast and slow-weight meta-learning.
• Abstract（参考訳）: 標準的なトランスフォーマーアーキテクチャは、トレーニング中に固定された遅い表現を学び、エピソード内での迅速な適応のメカニズムを欠く。 対照的に、生物学的ニューラルネットワークは、推論中に過渡的な連想記憶を形成する高速なシナプス更新(ヘビアン可塑性と呼ばれる性質)によってこの問題に対処する。 本稿では, ViT-Small, DeiT-Small, Swin-Tinyを含む複数のトランスフォーマーバックボーンに統合されたHebbian Fast-Weight (HFW)モジュールの実験的研究を行う。 我々は,5-way 1-shotと5-way 5-shotの分類タスクにおいて,Omniglotベンチマークを用いて,VT,DeiT,Swin,ViT-Hebbian,DeiT-Hebbian,Swin-Hebbianの6つのモデル変種を評価する。 我々は,すべての階層的な段階が完了した後,HFWモジュールを最終ステージ特徴写像に適用する,Swin-Tinyの単一モジュール配置戦略を提案する。 この設計は、それぞれのステージに別々のヘビアンモジュールを配置することで生じるトレーニングの不安定さを回避し、全6モデル(1ショットで96.2\%、5ショットで99.2\%)で最高テスト精度を達成し、非ヘビアンベースラインを1ショットで+0.3$ポイントで上回った。 スウィンのシフト窓帰納バイアスとエピソードレベルのヘビアン結合の相互作用を解析し、ブロックごとの配置が低データ方式でViTとDeiTの変種に失敗する理由を論じ、高速で低速なメタラーニングに関するより広範な文献にその結果を定めている。

関連論文リスト

• ViT-ProtoNet for Few-Shot Image Classification: A Multi-Benchmark Evaluation [4.884338536663712]
  本稿では,VT-SmallバックボーンをPrototypeal Networkフレームワークに統合したViT-ProtoNetを紹介する。 この結果から,ViT-ProtoNetを,数発の分類のための強力で柔軟なアプローチとして確立した。
  論文  参考訳（メタデータ） (2025-07-12T14:19:04Z)
• Hierarchical Side-Tuning for Vision Transformers [33.536948382414316]
  微調整された事前訓練された視覚変換器(ViTs)は、視覚認識タスクの強化に大きく貢献している。 PETLは、完全な微調整に比べてパラメータ更新が少なく、高いパフォーマンスを実現する可能性がある。 本稿では,多様な下流タスクへのVTモデルの転送を容易にする革新的PETL手法である階層側チューニング(HST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T04:16:35Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Semi-supervised Vision Transformers at Scale [93.0621675558895]
  視覚変換器(ViT)のための半教師あり学習(SSL)について検討する。 我々は、最初のun/self教師付き事前トレーニングと教師付き微調整、そして最後に半教師付き微調整からなる新しいSSLパイプラインを提案する。 提案手法はSemi-ViTと呼ばれ,半教師付き分類設定においてCNNと同等あるいは同等の性能を達成している。
  論文  参考訳（メタデータ） (2022-08-11T08:11:54Z)
• EATFormer: Improving Vision Transformer Inspired by Evolutionary Algorithm [111.17100512647619]
  本稿では、実証された実用的な進化的アルゴリズム(EA)と類似したビジョントランスフォーマーの合理性を説明する。 本稿では,EA ベースのトランス (EAT) ブロックのみを含む新しいピラミッド EATFormer バックボーンを提案する。 画像分類,下流タスク,説明実験に関する大規模かつ定量的な実験は,我々のアプローチの有効性と優位性を示すものである。
  論文  参考訳（メタデータ） (2022-06-19T04:49:35Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。