論文の概要: Multitask Interactions in Recurrent Dynamics across 100 Cognitive Tasks
- arxiv url: http://arxiv.org/abs/2610.33926v1
- Date: Sat, 24 Oct 2026 21:38:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.485123
- Title: Multitask Interactions in Recurrent Dynamics across 100 Cognitive Tasks
- Title（参考訳）: 認知課題100件にわたる反復力学におけるマルチタスク相互作用
- Abstract要約: リカレントニューラルネットワーク(RNN)は、タスクソリューションを研究するための動的サロゲートとして使われてきた。
マルチタスク電池が大規模かつ不均一に成長するにつれて,タスクがどのように相互作用するかを検討する。
- 参考スコア（独自算出の注目度）: 5.552970845894818
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The brain continually learns tasks with very different computational demands. Recurrent neural networks (RNNs) have been used as dynamical surrogates for studying task solutions, with recent work extending this approach to joint training on multitask batteries. However, it remains unclear how tasks interact as these batteries grow in scale and heterogeneity: under what conditions do they transfer or interfere with one another, and how do these effects relate to task complexity and model structure? We study this question by simultaneously training hierarchical Almost-Linear RNNs (AL-RNNs) on 100 tasks spanning a wide range of cognitive demands. AL-RNNs allow us to vary the amount of nonlinearity in the recurrence, while hierarchical task features provide a low-dimensional interface for task-specific adaptation within shared dynamics. On this task battery, performance improves with both nonlinear capacity and task-feature dimensionality, with the joint hierarchical model outperforming both individually trained models and a single unstructured joint model. Many tasks are individually solvable with linear dynamics, yet cannot be solved together by a shared linear model. Through hierarchical task features, task-specific linear region usage, and task geometry, the trained model provides several related but distinct measures of task similarity that capture how computations are separated and combined within the shared backbone. Across a series of experiments, we relate these representations to individual task complexity, joint solvability, pairwise transfer learning, and leave-one-out adaptation. Together, our experiments characterize task interactions in multitask recurrent learning while demonstrating both the potential and the challenges of reusable dynamical backbones for cognitive computation.
- Abstract（参考訳）: 脳は、非常に異なる計算要求でタスクを継続的に学習する。
リカレントニューラルネットワーク(RNN)は、タスクソリューションを研究するための動的サロゲートとして使われており、最近の研究は、このアプローチをマルチタスクバッテリーのジョイントトレーニングにまで拡張している。
しかし、これらの電池が大規模かつ不均一に成長するにつれてタスクがどのように相互作用するかは、まだ不明である。どのような条件下で、それらが相互に移動または干渉し、これらの効果がタスクの複雑さとモデル構造にどのように関係するのか?
本研究では, 階層的ニアリナーRNN(AL-RNN)を多種多様な認知的要求にまたがる100のタスクで同時に訓練することにより, この課題を考察する。
AL-RNNは繰り返しの非線形性の量を変えることができるが、階層的タスク特徴は共有力学におけるタスク固有適応のための低次元インタフェースを提供する。
このタスクバッテリでは、非線形キャパシティとタスク機能ディメンタリティの両方で性能が向上し、ジョイント階層モデルは個別に訓練されたモデルと単一非構造化のジョイントモデルの両方に優れる。
多くのタスクは線形力学で個別に解けるが、共用線形モデルでは解けない。
階層的なタスク特徴、タスク固有の線形領域の使用、およびタスク幾何学を通じて、トレーニングされたモデルは、計算がどのように分離され、共有バックボーン内で結合されるかをキャプチャするタスク類似性のいくつかの関連性はあるが、異なる尺度を提供する。
一連の実験において、これらの表現を個別のタスクの複雑さ、共同解決可能性、ペアワイズ・トランスファー・ラーニング、一対一適応に関連付ける。
本実験は,マルチタスク反復学習におけるタスクの相互作用を特徴付けるとともに,認知計算における動的バックボーンの再利用の可能性と課題を実証するものである。
関連論文リスト
- Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。
単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
論文 参考訳（メタデータ） (2023-05-11T17:57:49Z) - An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale
Multitask Learning Systems [4.675744559395732]
マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。
最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。
本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T13:10:47Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳（メタデータ） (2022-04-16T00:56:12Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳（メタデータ） (2022-03-28T17:56:40Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳（メタデータ） (2022-02-28T16:07:19Z) - Modular Networks Prevent Catastrophic Interference in Model-Based
Multi-Task Reinforcement Learning [0.8883733362171032]
モデルベースのマルチタスク強化学習が、共有ポリシネットワークからモデルフリーメソッドが行うのと同様の方法で、共有ダイナミクスモデルから恩恵を受けるかどうかを検討する。
単一ダイナミクスモデルを用いて、タスクの混乱と性能低下の明確な証拠を見出す。
対策として、学習力学モデルの内部構造を個別のサブネットワークにトレーニングすることで、パフォーマンスを著しく向上させる。
論文 参考訳（メタデータ） (2021-11-15T12:31:31Z) - Multi-Task Neural Processes [105.22406384964144]
我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。
特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。
その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
論文 参考訳（メタデータ） (2021-11-10T17:27:46Z) - One Network Fits All? Modular versus Monolithic Task Formulations in
Neural Networks [36.07011014271394]
単一のニューラルネットワークは,複合データセットから複数のタスクを同時に学習できることを示す。
このような組み合わせタスクの学習の複雑さは、タスクコードの複雑さとともにどのように成長するかを研究する。
論文 参考訳（メタデータ） (2021-03-29T01:16:42Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z) - Recurrent Interaction Network for Jointly Extracting Entities and
Classifying Relations [45.79634026256055]
対話を動的に学習できるマルチタスク学習モデルを設計する。
2つの実世界のデータセットに関する実証的研究により、提案モデルの優位性が確認された。
論文 参考訳（メタデータ） (2020-05-01T01:03:16Z) - Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
論文 参考訳（メタデータ） (2019-06-03T21:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。