論文の概要: Sparks of cognitive flexibility: self-guided context inference for flexible stimulus-response mapping by attentional routing

• arxiv url: http://arxiv.org/abs/2502.15634v2
• Date: Tue, 25 Feb 2025 08:29:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 11:58:54.716611
• Title: Sparks of cognitive flexibility: self-guided context inference for flexible stimulus-response mapping by attentional routing
• Title（参考訳）: 認知的柔軟性の火花:注意ルーティングによるフレキシブル刺激応答マッピングのための自己誘導文脈推論
• Authors: Rowan P. Sommers, Sushrut Thorat, Daniel Anthes, Tim C. Kietzmann,
• Abstract要約: 我々は,Hummosの高速・スロー学習を画像計算可能なタスクに拡張するウィスコンシンニューラルネットワーク(WiNN)を提案する。 WiNNは、事前にトレーニングされた畳み込みニューラルネットワークを視覚に使用し、関連する機能に注意を向ける調整可能な"コンテキスト状態"と組み合わせている。 ウィスコンシン・カード・ソーティング・タスクのイメージベース拡張によるWiNNの評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Flexible cognition demands discovering hidden rules to quickly adapt stimulus-response mappings. Standard neural networks struggle in such tasks requiring rapid, context-driven remapping. Recently, Hummos (2023) introduced a fast-and-slow learning algorithm to mitigate this shortcoming, but its scalability to complex, image-computable tasks was unclear. Here, we propose the Wisconsin Neural Network (WiNN), which extends Hummos' fast-and-slow learning to image-computable tasks demanding flexible rule-based behavior. WiNN employs a pretrained convolutional neural network for vision, coupled with an adjustable "context state" that guides attention to relevant features. If WiNN produces an incorrect response, it first iteratively updates its context state to refocus attention on task-relevant cues, then performs minimal parameter updates to attention and readout layers. This strategy preserves generalizable representations in the sensory and attention networks, reducing catastrophic forgetting. We evaluate WiNN on an image-based extension of the Wisconsin Card Sorting Task, revealing several markers of cognitive flexibility: (i) WiNN autonomously infers underlying rules, (ii) requires fewer examples to do so than control models reliant on large-scale parameter updates, (iii) can perform context-based rule inference solely via context-state adjustments-further enhanced by slow updates of attention and readout parameters, and (iv) generalizes to unseen compositional rules through context-state updates alone. By blending fast context inference with targeted attentional guidance, WiNN achieves "sparks" of flexibility. This approach offers a path toward context-sensitive models that retain knowledge while rapidly adapting to complex, rule-based tasks.
• Abstract（参考訳）: フレキシブル認知は、刺激応答マッピングを迅速に適応するために隠れた規則を発見することを要求する。 標準的なニューラルネットワークは、迅速なコンテキスト駆動のリマッピングを必要とするようなタスクに苦労する。 最近、Hummos (2023) はこの欠点を軽減するために高速かつスローの学習アルゴリズムを導入したが、複雑な画像計算可能なタスクへのスケーラビリティは不明確であった。 本稿では,Hummosの高速・スロー学習をフレキシブルなルールベース行動を必要とする画像計算可能なタスクに拡張するウィスコンシンニューラルネットワーク(WiNN)を提案する。 WiNNは、事前にトレーニングされた畳み込みニューラルネットワークを視覚に使用し、関連する機能に注意を向ける調整可能な"コンテキスト状態"と組み合わせている。 WiNNが誤った応答を生成する場合、まずコンテキスト状態を反復的に更新し、タスク関連キューに注意を向け、次に注意層と読み出し層に最小限のパラメータを更新する。 この戦略は、感覚ネットワークと注意ネットワークにおける一般化可能な表現を保持し、破滅的な忘れを少なくする。 ウィスコンシンカードソーティングタスクのイメージベース拡張によるWiNNの評価を行い、認知的柔軟性の指標をいくつか明らかにした。 (i)WiNNは、基礎となるルールを自律的に推測する。 (ii) 大規模なパラメータ更新に依存する制御モデルよりも、それを行うサンプルが少ない。 (iii)注意・読み出しパラメータの遅い更新によって強化された文脈状態調整のみでコンテキストベースのルール推論を行うことができる。 (iv)コンテクスト状態の更新だけでは見当たらない構成規則を一般化する。 高速なコンテキスト推論と目標とする注意誘導を組み合わせることで、WiNNは柔軟性の「スパーク」を実現する。 このアプローチは、複雑なルールベースのタスクに迅速に適応しながら知識を保持する、文脈に敏感なモデルへの道を提供する。

関連論文リスト

• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Time Regularization in Optimal Time Variable Learning [0.4490343701046724]
  近年、arXiv:2204.08528では、ディープニューラルネットワーク(DNN)における最適時変学習が導入されている。 離散力学系における時間的地平線に直接関係する正規化項を導入することにより、この概念を拡張する。 本稿では,Residual Neural Networks(ResNets)に対する適応型プルーニング手法を提案する。 提案した概念を、よく知られたMNISTとFashion MNISTデータセットの分類タスクに適用することによって、その結果が示される。
  論文  参考訳（メタデータ） (2023-06-28T11:27:48Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Active Sensing for Communications by Learning [24.508799223944223]
  本稿では,無線通信におけるアクティブセンシング問題に対するディープラーニングアプローチを提案する。 観測の順序の時間的相関を利用して、各観測結果を一定サイズの状態情報ベクトルにマッピングする。 数値的な結果から,提案手法が既存の適応型・非適応型センシング手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-12-08T01:50:45Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Deep Neural Networks using a Single Neuron: Folded-in-Time Architecture using Feedback-Modulated Delay Loops [0.0]
  本稿では、任意の大きさのディープニューラルネットワークを、複数の時間遅延フィードバックループを持つ単一ニューロンに折り畳む方法を提案する。 本発明の単一ニューロン深部ニューラルネットワークは、単一の非線形性のみを含み、フィードバック信号の調整を適切に調整する。 Folded-in-time DNN(Fit-DNN)と呼ばれる新しい手法は、ベンチマークタスクのセットで有望な性能を示す。
  論文  参考訳（メタデータ） (2020-11-19T21:45:58Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。