論文の概要: Constrained Hebbian Learning Supports Efficient Representational Allocation under Structural Constraints

• arxiv url: http://arxiv.org/abs/2607.16027v1
• Date: Fri, 17 Jul 2026 14:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.878998
• Title: Constrained Hebbian Learning Supports Efficient Representational Allocation under Structural Constraints
• Title（参考訳）: 構造制約下での効率的な表現配置を支援する制約付きヘビーラーニング
• Abstract要約: 我々は, 解剖学的および代謝的制約の下で, 排他的競争的ヘビアン則がシナプス的資源割り当てをサポートするか否かを検証した。 ヘビアン学習は、主圧縮比較において、スパースBPやDDTPよりも低いタスク情報コストを実現する。 その結果、均一な精度向上よりもコストパフォーマンスのトレードオフが示唆された。
• 参考スコア（独自算出の注目度）: 1.0787328610467803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Introduction: Biological systems face anatomical and metabolic constraints, including costly synaptic maintenance and limited connectivity. These constraints favor neural codes that compress behaviorally relevant information into low-redundancy patterns. We test whether an excitatory competitive Hebbian rule can support synaptic resource allocation under such constraints and whether the resulting representations occupy a more favorable cost-performance regime than reference learning rules. Methods: Representational cost is quantified using mutual-information-based measures derived from the Variational Information Bottleneck. Experiments use fixed audiovisual embeddings from three audiovisual benchmarks (AVE, Kinetics-Sounds, VGGSound100) to isolate downstream associative plasticity. Hebbian learning is compared with Dense Difference Target Propagation (DDTP) and backpropagation (BP) under matched sparsity and architectural constraints. Results: Hebbian learning achieves lower task-information cost (CTI) than sparse BP and DDTP in the main compressed comparisons, while reaching CTI values comparable to shallow BP with nonnegative weights. Rather than uniformly improving classification performance, Hebbian learning shifts the trade-off between task-relevant information and representational cost, yielding lower CTI at comparable functional performance in several settings. Discussion: The results indicate a cost-performance trade-off rather than uniform accuracy gains. For a given level of task-relevant information, Hebbian representations retain less input information while preserving functional performance, although accuracy is slightly reduced on some datasets. These findings support interpreting Hebbian learning as a mechanism for synaptic resource allocation rather than as a general strategy for maximizing audiovisual classification accuracy.
• Abstract（参考訳）: 導入: 生物学的システムは、コストのかかるシナプス維持と限られた接続性を含む、解剖学的および代謝的制約に直面します。 これらの制約は、行動関連情報を低冗長パターンに圧縮する神経コードを好む。 このような制約の下で,排他的競争力を持つヘビーンの規則がシナプス的資源配分を支持できるかどうかを検証し,その結果の表現が参照学習規則よりも有利なコストパフォーマンス体制を占有するか否かを検証した。 方法:変動情報ボトルネックから得られた相互情報に基づく尺度を用いて表現コストを定量化する。 実験では、3つのオーディオヴィジュアルベンチマーク(AVE, Kinetics-Sounds, VGGSound100)から固定されたオーディオヴィジュアル埋め込みを使用して、下流の連想可塑性を分離する。 ヘビアンラーニングはDense Different Target Propagation (DDTP) とバックプロパゲーション (BP) と比較される。 結果:Hebbian Learningは,非負重みの浅いBPに匹敵するCTI値に到達しながら,スパルスBPおよびDDTPよりも低いタスク情報コスト(CTI)を達成する。 分類性能を均一に改善するのではなく、Hebbian Learningはタスク関連情報と表現コストのトレードオフをシフトし、いくつかの設定で同等の機能性能でCTIを低下させる。 考察: 結果は, 均一な精度向上ではなく, 費用対効果のトレードオフを示している。 与えられたタスク関連情報に対して、Hebbian表現は、一部のデータセットでは精度がわずかに低下するが、機能性能を維持しながら入力情報が少ない。 これらの知見は,聴覚的分類精度を最大化するための一般的な戦略としてではなく,シナプス的資源配分のメカニズムとしてヘビアン学習を解釈することを支援する。

関連論文リスト

• BASC : Behavior-Aligned Quantization and Pruning for Low-Bit Spiking Neural Networks [6.5713207503171285]
  スパイキングニューラルネットワーク(SNN)はバイナリスパイクを通じて情報をエンコードし、イベント駆動方式で計算する。 高性能なSNNは、リソース制約のあるデバイスへのデプロイメントを妨げる、メモリとタイムステップのコストをかなり発生させる。 本稿では,2つの軽量モジュールを持つ統一フレームワークである行動適応型SNN圧縮(BASC)を提案する。
  論文  参考訳（メタデータ） (2026-08-12T03:39:24Z)
• HSFM: Hard-Set-Guided Feature-Space Meta-Learning for Robust Classification under Spurious Correlations [25.503211313768062]
  本稿では,特徴空間で直接拡張を行う二段階メタラーニング手法を提案する。 ピクセル空間ではなくバックボーン出力で操作することで、この手法は非常に効率的で安定であり、1つのGPUで数分のトレーニングしか必要としない。
  論文  参考訳（メタデータ） (2026-03-31T06:32:56Z)
• When Does Sparsity Mitigate the Curse of Depth in LLMs [53.137717161619484]
  本研究では,分散伝播の規制として空間空間が機能し,深度利用が向上することを示す。 以上の結果から,大規模な言語モデルにおいて,より効率的な深度スケーリングを実現するための重要なメカニズムとして,スパーシリティが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T15:04:16Z)
• Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
  Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。 推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
  論文  参考訳（メタデータ） (2026-02-12T18:54:57Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• Comparing Contrastive and Triplet Loss: Variance Analysis and Optimization Behavior [2.608092703580602]
  3重項の損失はクラス内およびクラス間の大きな分散を保ち、学習された表現においてよりきめ細かい区別をサポートすることを示す。 対照的に、対照的な損失はクラス内埋め込みをコンパクトにする傾向があり、微妙な意味的差異が曖昧になる。 対照的な損失が多くの小さな更新を早期に引き起こすのに対して、トリプルト損失はより少ないがより強力な更新を発生させ、ハードな例での学習を持続させる。
  論文  参考訳（メタデータ） (2025-10-02T16:11:46Z)
• IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck [4.523653503622693]
  IB-AdCSCNetは情報ボトルネック理論に基づくディープラーニングモデルである。 IB-AdCSCNetは、情報ボトルネックトレードオフ戦略をディープネットワークにシームレスに統合する。 CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-23T05:35:57Z)
• A Novel Transformer-Based Self-Supervised Learning Method to Enhance Photoplethysmogram Signal Artifact Detection [0.0699049312989311]
  本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。 実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。 このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
  論文  参考訳（メタデータ） (2024-01-02T04:00:48Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。