論文の概要: Disentangling Computation in Multi-Task Neural Networks with the Green's Operator
- arxiv url: http://arxiv.org/abs/2609.40292v1
- Date: Wed, 30 Sep 2026 17:49:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.261594
- Title: Disentangling Computation in Multi-Task Neural Networks with the Green's Operator
- Title(参考訳): グリーン演算子を用いたマルチタスクニューラルネットワークにおけるディペンタングリング計算
- Abstract要約: ネットワークのグローバルな一階摂動応答について検討する。
この演算子の単純な縮小は、同じ計算のタスク・ツー・タスクとタイム・ツー・タイムのビューを提供する。
- 参考スコア(独自算出の注目度): 0.006425846916579409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How is computation organized and reused across tasks and time in a trained recurrent network? Most analyses emphasize the geometry of neural activity, dynamical motifs, or local perturbation growth. We instead study the network's global first-order perturbation response. The finite-horizon Green's operator maps perturbations at each source along a trajectory to their downstream state-space responses and therefore directly represents perturbation routing. Simple reductions of this operator provide task-to-task and time-to-time views of the same computation, while matrix-free products make these views accessible without constructing the full operator. In a flexible multitask recurrent network, task reductions reveal structured reuse of known computational motifs, while temporal reductions reveal causal pathways and how they emerge during training. Our main point is simple: the Green's operator provides a global response geometry for mapping the organization of learned dynamical computation.
- Abstract(参考訳): トレーニングされたリカレントネットワークにおいて、タスクや時間にわたって計算はどのように組織化され、再利用されますか?
ほとんどの分析は、神経活動、動的モチーフ、または局所摂動成長の幾何学を強調している。
代わりに、ネットワークのグローバルな一階摂動応答について研究する。
有限ホライゾングリーンの作用素は、軌道に沿って各源の摂動を下流の状態空間応答にマッピングし、従って摂動ルーティングを直接表現する。
この演算子の単純な縮小は、タスク・ツー・タスクとタイム・ツー・タイムで同じ計算のビューを提供する一方、行列なしの製品は、これらのビューを完全な演算子を構築することなくアクセスできるようにする。
フレキシブル・マルチタスク・リカレント・ネットワークでは、タスク・リカレント・ネットワークは既知の計算モチーフの構造的再利用を明らかにする一方、時間的リカレント・リカレントは因果経路と訓練中にどのように現れるかを明らかにする。
グリーン演算子は、学習された動的計算の組織をマッピングするためのグローバルな応答幾何学を提供する。
関連論文リスト
- Deep Lookup Network [76.66809324649154]
多くのリソース制限エッジデバイスでは、複雑な演算をルックアップテーブルを通じて計算し、計算コストを削減できる。
本稿では,ニューラルネットワーク構築の基本的な操作として使用できる汎用的で効率的な検索操作を提案する。
計算コストのかかる乗算演算をルックアップ演算に置き換えることで、画像分類、画像超解像、点クラウド分類タスクのためのルックアップネットワークを開発する。
論文 参考訳(メタデータ) (2025-09-17T03:31:41Z) - Algorithm Development in Neural Networks: Insights from the Streaming Parity Task [8.188549368578704]
ストリーミングパリティタスクでトレーニングされたニューラルネットワークの学習ダイナミクスについて検討する。
有限学習経験が十分であれば、RNNは完全無限一般化への位相遷移を示すことを示す。
その結果、ニューラルネットワークが有限のトレーニング経験から無限に一般化できるメカニズムが明らかにされた。
論文 参考訳(メタデータ) (2025-07-14T04:07:43Z) - Gradient-free training of recurrent neural networks [3.272216546040443]
本稿では,勾配に基づく手法を使わずに再帰型ニューラルネットワークの重みとバイアスを全て構成する計算手法を提案する。
このアプローチは、動的システムに対するランダムな特徴ネットワークとクープマン作用素理論の組み合わせに基づいている。
時系列の計算実験,カオス力学系の予測,制御問題などにおいて,構築したリカレントニューラルネットワークのトレーニング時間と予測精度が向上することが観察された。
論文 参考訳(メタデータ) (2024-10-30T21:24:34Z) - Image segmentation with traveling waves in an exactly solvable recurrent
neural network [71.74150501418039]
繰り返しニューラルネットワークは、シーンの構造特性に応じて、画像をグループに効果的に分割できることを示す。
本稿では,このネットワークにおけるオブジェクトセグメンテーションのメカニズムを正確に記述する。
次に、グレースケール画像中の単純な幾何学的対象から自然画像まで、入力をまたいで一般化するオブジェクトセグメンテーションの簡単なアルゴリズムを実証する。
論文 参考訳(メタデータ) (2023-11-28T16:46:44Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳(メタデータ) (2023-07-13T16:39:08Z) - SeqTR: A Simple yet Universal Network for Visual Grounding [88.03253818868204]
本稿では,視覚的接地作業のためのシンプルな汎用ネットワークSeqTRを提案する。
画像とテキストの入力を条件とした点予測問題として,視覚的グラウンドリングを行った。
このパラダイムの下では、視覚的なグラウンドタスクはタスク固有のブランチやヘッドなしでSeqTRネットワークに統合されます。
論文 参考訳(メタデータ) (2022-03-30T12:52:46Z) - Temporal Graph Network Embedding with Causal Anonymous Walks
Representations [54.05212871508062]
本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。
評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。
欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
論文 参考訳(メタデータ) (2021-08-19T15:39:52Z) - Thinking Deeply with Recurrence: Generalizing from Easy to Hard
Sequential Reasoning Problems [51.132938969015825]
我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。
再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
論文 参考訳(メタデータ) (2021-02-22T14:09:20Z) - Implicit recurrent networks: A novel approach to stationary input
processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。
繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。
シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文 参考訳(メタデータ) (2020-10-20T18:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。