論文の概要: Disentangling Representations in RNNs through Multi-task Learning
- arxiv url: http://arxiv.org/abs/2407.11249v1
- Date: Mon, 15 Jul 2024 21:32:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 19:11:45.553106
- Title: Disentangling Representations in RNNs through Multi-task Learning
- Title(参考訳): マルチタスク学習によるRNNの遠隔表現
- Authors: Pantelis Vafidis, Aman Bhargava, Antonio Rangel,
- Abstract要約: 不整合表現は 生物学的および人工両方の 効率的な一般化のための 有望な枠組みです
マルチタスク分類で訓練されたRNNは、連続的なアトラクタの形で非絡み合った表現を学習することが実験的に確認された。
本稿では,知識を整理し,フレキシブルな一般化を実現する認知地図作成の一般的な原則を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Abstract, or disentangled, representations are a promising mathematical framework for efficient and effective generalization in both biological and artificial systems. We investigate abstract representations in the context of multi-task classification over noisy evidence streams -- a canonical decision-making neuroscience paradigm. We derive theoretical bounds that guarantee the emergence of disentangled representations in the latent state of any optimal multi-task classifier, when the number of tasks exceeds the dimensionality of the state space. We experimentally confirm that RNNs trained on multi-task classification learn disentangled representations in the form of continuous attractors, leading to zero-shot out-of-distribution (OOD) generalization. We demonstrate the flexibility of the abstract RNN representations across various decision boundary geometries and in tasks requiring classification confidence estimation. Our framework suggests a general principle for the formation of cognitive maps that organize knowledge to enable flexible generalization in biological and artificial systems alike, and closely relates to representations found in humans and animals during decision-making and spatial reasoning tasks.
- Abstract(参考訳): 抽象的あるいは非絡み合った表現は、生物学的システムと人工システムの両方において効率的かつ効果的な一般化のための有望な数学的枠組みである。
ノイズのあるエビデンスストリームに対するマルチタスク分類の文脈における抽象表現について検討する。
タスク数が状態空間の次元を超えるとき、任意の最適マルチタスク分類器の潜在状態における非交叉表現の出現を保証する理論的境界を導出する。
マルチタスク分類で訓練されたRNNは、連続的なアトラクタの形で非交叉表現を学習し、ゼロショット・アウト・オブ・ディストリビューション(OOD)の一般化につながることを実験的に確認した。
本稿では,様々な決定境界領域における抽象的RNN表現の柔軟性と,分類信頼度推定を必要とするタスクについて述べる。
本枠組みは,生物・人工システムの柔軟な一般化を実現するために知識を整理する認知マップの形成に関する一般的な原理を示唆し,意思決定や空間的推論作業において人間や動物に見られる表現と密接に関連している。
関連論文リスト
- Gradient-based inference of abstract task representations for generalization in neural networks [5.794537047184604]
ニューラルネットワークを介してタスク表現層に逆伝播する勾配は、現在のタスク要求を推測する効率的な方法であることを示す。
勾配に基づく推論は、学習効率の向上と、新しいタスクや制限への一般化をもたらすことを実証する。
論文 参考訳(メタデータ) (2024-07-24T15:28:08Z) - Spatio-temporal Value Semantics-based Abstraction for Dense Deep Reinforcement Learning [1.4542411354617986]
Intelligent Cyber-Physical Systems (ICPS)は、CPS(Cyber-Physical System)の特殊な形態を表す。
CNNとDeep Reinforcement Learning (DRL)は、知覚、意思決定、制御を含む多面的なタスクを実行する。
DRLは意思決定プロセスにおける効率性、一般化能力、データの不足という観点で、課題に直面している。
本研究では空間時間値意味論に基づく革新的な抽象的モデリング手法を提案する。
論文 参考訳(メタデータ) (2024-05-24T02:21:10Z) - Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。
我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。
提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
論文 参考訳(メタデータ) (2024-04-24T17:59:48Z) - Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。
オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。
大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
論文 参考訳(メタデータ) (2024-02-23T16:50:07Z) - Understanding Distributed Representations of Concepts in Deep Neural
Networks without Supervision [25.449397570387802]
本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。
我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。
データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
論文 参考訳(メタデータ) (2023-12-28T07:33:51Z) - Labeling Neural Representations with Inverse Recognition [25.867702786273586]
Inverse Recognition (INVERT)は、学習した表現と人間の理解可能な概念を結びつけるためのスケーラブルなアプローチである。
以前の研究とは対照的に、INVERTは多様な種類のニューロンを処理でき、計算の複雑さが小さく、セグメンテーションマスクの可用性に依存しない。
本稿では,様々なシナリオにおけるINVERTの適用性を示す。
論文 参考訳(メタデータ) (2023-11-22T18:55:25Z) - A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。
GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。
提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
論文 参考訳(メタデータ) (2023-09-16T09:15:37Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Approximating Attributed Incentive Salience In Large Scale Scenarios. A
Representation Learning Approach Based on Artificial Neural Networks [5.065947993017158]
インセンティブ・サリエンス属性による潜在状態を近似するための,人工知能ニューラルネットワーク(ANN)に基づく手法を提案する。
我々は,大規模時系列データセットを用いて,個人と一連のビデオゲームの相互作用の持続時間と強度を推定するANNを設計した。
論文 参考訳(メタデータ) (2021-08-03T20:03:21Z) - Complexity-based speciation and genotype representation for
neuroevolution [81.21462458089142]
本稿では、進化するネットワークを隠されたニューロンの数に基づいて種に分類する神経進化の種分化原理を提案する。
提案された種分化原理は、種および生態系全体における多様性の促進と保存を目的として設計されたいくつかの技術で採用されている。
論文 参考訳(メタデータ) (2020-10-11T06:26:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。