論文の概要: Do Artificial Neural Networks Need Dendritic Nanotubes? Two Reasons for Shrinking Importance Estimates in Continual Learning

• arxiv url: http://arxiv.org/abs/2610.14258v1
• Date: Fri, 09 Oct 2026 19:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:27:23.715797
• Title: Do Artificial Neural Networks Need Dendritic Nanotubes? Two Reasons for Shrinking Importance Estimates in Continual Learning
• Title（参考訳）: ニューラルネットワークは樹状ナノチューブを必要とするか? 連続学習における重要度推定の2つの理由
• Abstract要約: 正規化に基づく連続学習は、各パラメータをその重要性の見積に比例して保護する。 生物学的にインスパイアされたメカニズムから始まり、統計的説明で終わる4つの研究を報告する。
• 参考スコア（独自算出の注目度）: 3.756550107432323
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Regularization-based continual learning protects each parameter in proportion to an estimate of its importance, yet these estimates come from finite samples and heuristics and are used as if they were exact. We report four studies that start from a biologically inspired mechanism and end with a statistical explanation of it. Motivated by dendritic nanotubes, we let transient lateral links diffuse importance tags between hidden units. Links between co-active units gave no significant gain, but random links with lifetimes of 25 or 200 steps raised final accuracy on 20-task Permuted MNIST by 1.5 to 2.6 points. We show that random diffusion implements linear shrinkage of importance toward the layer mean in expectation. A simulation of the link process alone predicts shrinkage weights of 0.23 and 0.52 for these lifetimes, and graph-free shrinkage at 0.25 and 0.5 reproduces both the accuracy and the dispersion of the consolidated importance, while every activity-dependent rule did worse than random links. A five-seed screen across EWC, SI, and MAS found nominal gains for SI and MAS on Permuted MNIST and losses on task-incremental Split CIFAR-100, where forgetting was small and shrinkage cost plasticity. Varying the number of importance samples then separates two mechanisms on Permuted MNIST. For EWC, the gain fell by about ten points per tenfold increase in samples, from 19.6 points with 10 samples to -0.4 with 1000, a variance effect. For MAS, a gain of about one point persisted at 1000 samples, consistent with a bias in the importance measure rather than noise. Shrinkage had no detectable effect for MAS on a domain-incremental CIFAR-100 benchmark. Finally, we show that a standard heteroscedastic empirical Bayes rule shrinks the largest Fisher-type estimates most, which may explain its poor results, and point to a log-scale alternative.
• Abstract（参考訳）: 正規化に基づく連続学習は、それぞれのパラメータをその重要性の見積もりに比例して保護するが、これらの推定は有限サンプルとヒューリスティックから成り、正確には使用されない。 生物学的にインスパイアされたメカニズムから始まり,その統計的説明で終わる4つの研究を報告する。 樹状体ナノチューブをモチーフとした一過性側方リンクは,隠れたユニット間で重要タグを拡散させる。 コアクティブユニット間のリンクは有意な利得は得られなかったが、25または200段の無作為リンクは、20タスクのPermuted MNISTで1.5から2.6ポイントの精度を上げた。 ランダム拡散は期待値の平均値に対する重要度を線形に縮めることを示す。 リンクプロセスのみのシミュレーションでは、これらの寿命で0.23と0.52の収縮重量を予測し、グラフフリーの0.25と0.5の収縮は、すべてのアクティビティ依存ルールがランダムリンクよりも悪い一方で、統合された重要性の正確さと分散の両方を再現する。 EWC、SI、MASにまたがる5つの画面は、Permuted MNIST上でSIとMASが顕著に向上し、タスクインクリメンタルなCIFAR-100が失われた。 重要サンプルの数を変えると、Permuted MNISTの2つのメカニズムが分離される。 EWCでは10倍増の10点当たりの利得が19.6点から1000点の-0.4点に低下した。 MASの場合、1000サンプルで約1ポイントのゲインが持続し、ノイズよりも重要な尺度のバイアスと一致した。 シュリンカゲは、ドメインインクリメンタルなCIFAR-100ベンチマークにおいてMASに検出可能な効果を持たなかった。 最後に、標準的なヘテロセダスティックな経験的ベイズ規則は、最も大きなフィッシャー型推定値を小さくし、その結果が乏しいことを説明でき、ログスケールの代替案を指し示している。

関連論文リスト

• When Sample-Splitting Choices Matter in TMLE and AIPW: Cross-Fitting, Targeting, and Repetition [0.0]
  機械学習ニュアンスモデルを用いた目標最大誤差推定(TMLE)と拡張逆確率重み付け(AIPW)の変数は,それぞれ異なる。 バイナリアウトカム平均処理効果の既知のトラスシミュレーションでは、8つのヘッドライン推定器がそれぞれの設定ライブラリ、内折り、トランケーションバウンドを共有した。
  論文  参考訳（メタデータ） (2026-10-12T05:17:09Z)
• Gated Graph Neural Networks for Learning Hidden Independent Cascade Dynamics [50.02140519922548]
  情報や伝染病はソーシャルネットワークを通じて広まっていますが、ノードごとのアクティベーション時間なしでは予測が難しいのです。 本研究では,Hydden Independent Cascade(HIC)モデルの下で,この逆問題について検討する。 本研究では,個々の潜伏カスケードを再構成することなく,ノードレベルのパラメータベクトルを復元するシミュレーションベースの補正推定器を提案する。
  論文  参考訳（メタデータ） (2026-10-02T20:36:22Z)
• Behavioral Convergence Without Representational Convergence: Persistent Training-History Dependence in Neural Networks [0.0]
  同じ最終目標に向けてトレーニングされたニューラルネットワークは、以前のトレーニング履歴によって形作られた内部表現を保持しながら、同様の予測性能に達することができる。 この効果は、ペアの畳み込みネットワークが同一の重みから始まり、逆タスクオーダを経験し、同じ共通相対分布を受信する、制御された逐次学習実験を用いて検討する。
  論文  参考訳（メタデータ） (2026-09-29T15:38:10Z)
• Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert: Evidence from Three Reasoning LMs [0.0]
  PRM-Pruned Fragment Graftingは、クロス軌道ステップレベルの転送の最小化である。 322回のステージング・ルール・インジェクション・イベントの4ビット分類では、真に苦闘しているチェーンを標的にしたのはわずか14%であった。 後近のオラクルは、独立な +0.13 pp で PPFG を選択することで、プロブレム当たりの利得を制限している。
  論文  参考訳（メタデータ） (2026-09-03T11:06:07Z)
• Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
  我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。 その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。 次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-07-28T10:59:04Z)
• Reliable Extraction of Clinical Follow-Up Instructions: A Hybrid Neural-Symbolic Pipeline [43.0484058393522]
  我々は,ニューラルシンボリックなハイブリッドパイプラインを直接生成に対して試験する。 本研究は,2000点の合成外用コーパスについて検討した。
  論文  参考訳（メタデータ） (2026-05-26T05:14:33Z)
• Multitask Multimodal Fusion with Tabular Foundation Models for Peak and Durability Prediction of Pertussis Booster Response [0.0]
  Pertussis booster vaccination(英語版)は、ピーク等級と長期の耐久性の両方において、個体間で広く異なる免疫反応を産生する。 ほとんどの計算モデルは1つしか目標とせず、完全なブースト・アンド・ワン軌道を欠いている。 2つのエンドポイントは冗長ではなく生物学的に分離されているため、両方を共同で予測することは自明ではない。
  論文  参考訳（メタデータ） (2026-05-13T01:00:50Z)
• Detecting Unobserved Confounders: A Kernelized Regression Approach [46.52607207396279]
  Kernel Regression Confounder Detection (KRCD) は、単一環境下での非線形観測データにおける観測不能なコンバウンディングを検出する新しい方法である。 ゼロからの有意な偏差が観測不能な共起を示すテスト統計学。 合成ベンチマークとツインズデータセットの実験は、KRCDが既存のベースラインを上回るだけでなく、計算効率も優れていることを示した。
  論文  参考訳（メタデータ） (2026-01-01T04:26:02Z)
• Minimax optimality of deep neural networks on dependent data via PAC-Bayes bounds [3.9041951045689305]
  Schmidt-Hieber (2020) は、最小二乗回帰推定のためにReLuを活性化したディープニューラルネットワークの最小最適性を証明した。 我々は、最小二乗およびロジスティック回帰を含むより一般的な機械学習問題について研究する。 我々は、ロジスティック損失を伴う分類の類似の下限を確立し、提案したDNN推定器がミニマックスの意味で最適であることを証明した。
  論文  参考訳（メタデータ） (2024-10-29T03:37:02Z)
• Phikon-v2, A large and public feature extractor for biomarker prediction [42.52549987351643]
  我々は、DINOv2を用いて視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、Phikon-v2と呼ばれるさらなる実験を行う。 Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。
  論文  参考訳（メタデータ） (2024-09-13T20:12:29Z)
• Policy evaluation from a single path: Multi-step methods, mixing and mis-specification [45.88067550131531]
  無限水平$gamma$-discounted Markov rewardプロセスの値関数の非パラメトリック推定について検討した。 カーネルベースの多段階時間差推定の一般的なファミリーに対して、漸近的でない保証を提供する。
  論文  参考訳（メタデータ） (2022-11-07T23:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。