論文の概要: Disentangling Representations in RNNs through Multi-task Learning

• arxiv url: http://arxiv.org/abs/2407.11249v1
• Date: Mon, 15 Jul 2024 21:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 19:11:45.553106
• Title: Disentangling Representations in RNNs through Multi-task Learning
• Title（参考訳）: マルチタスク学習によるRNNの遠隔表現
• Authors: Pantelis Vafidis, Aman Bhargava, Antonio Rangel,
• Abstract要約: 不整合表現は 生物学的および人工両方の 効率的な一般化のための 有望な枠組みです マルチタスク分類で訓練されたRNNは、連続的なアトラクタの形で非絡み合った表現を学習することが実験的に確認された。 本稿では,知識を整理し,フレキシブルな一般化を実現する認知地図作成の一般的な原則を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstract, or disentangled, representations are a promising mathematical framework for efficient and effective generalization in both biological and artificial systems. We investigate abstract representations in the context of multi-task classification over noisy evidence streams -- a canonical decision-making neuroscience paradigm. We derive theoretical bounds that guarantee the emergence of disentangled representations in the latent state of any optimal multi-task classifier, when the number of tasks exceeds the dimensionality of the state space. We experimentally confirm that RNNs trained on multi-task classification learn disentangled representations in the form of continuous attractors, leading to zero-shot out-of-distribution (OOD) generalization. We demonstrate the flexibility of the abstract RNN representations across various decision boundary geometries and in tasks requiring classification confidence estimation. Our framework suggests a general principle for the formation of cognitive maps that organize knowledge to enable flexible generalization in biological and artificial systems alike, and closely relates to representations found in humans and animals during decision-making and spatial reasoning tasks.
• Abstract（参考訳）: 抽象的あるいは非絡み合った表現は、生物学的システムと人工システムの両方において効率的かつ効果的な一般化のための有望な数学的枠組みである。 ノイズのあるエビデンスストリームに対するマルチタスク分類の文脈における抽象表現について検討する。 タスク数が状態空間の次元を超えるとき、任意の最適マルチタスク分類器の潜在状態における非交叉表現の出現を保証する理論的境界を導出する。 マルチタスク分類で訓練されたRNNは、連続的なアトラクタの形で非交叉表現を学習し、ゼロショット・アウト・オブ・ディストリビューション(OOD)の一般化につながることを実験的に確認した。 本稿では,様々な決定境界領域における抽象的RNN表現の柔軟性と,分類信頼度推定を必要とするタスクについて述べる。 本枠組みは,生物・人工システムの柔軟な一般化を実現するために知識を整理する認知マップの形成に関する一般的な原理を示唆し,意思決定や空間的推論作業において人間や動物に見られる表現と密接に関連している。

関連論文リスト

• Uniting contrastive and generative learning for event sequences models [51.547576949425604]
  本研究では,2つの自己指導型学習手法 – 例えば,コントラスト学習と,潜在空間におけるマスクイベントの復元に基づく生成的アプローチ – の統合について検討する。 いくつかの公開データセットで行った実験は、シーケンス分類と次点型予測に焦点を合わせ、統合された手法が個々の手法と比較して優れた性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-19T13:47:17Z)
• Latent Communication in Artificial Neural Networks [2.5947832846531886]
  この論文は神経表現の普遍性と再利用性に焦点を当てている。 我々の研究から得られた顕著な観察は、潜在表現における類似性の出現である。
  論文  参考訳（メタデータ） (2024-06-16T17:13:58Z)
• Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
  本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。 オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。 大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
  論文  参考訳（メタデータ） (2024-02-23T16:50:07Z)
• Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision [25.449397570387802]
  本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。 我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。 データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
  論文  参考訳（メタデータ） (2023-12-28T07:33:51Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Generalized Representations Learning for Time Series Classification [28.230863650758447]
  時間的複雑性は時系列分類における未知の潜在分布に起因していると主張する。 本研究では,ジェスチャー認識,音声コマンド認識,ウェアラブルストレスと感情検出,センサによる人間の活動認識に関する実験を行う。
  論文  参考訳（メタデータ） (2022-09-15T03:36:31Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。