論文の概要: Disentangling Representations through Multi-task Learning
- arxiv url: http://arxiv.org/abs/2407.11249v2
- Date: Tue, 15 Oct 2024 07:03:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:00:05.927316
- Title: Disentangling Representations through Multi-task Learning
- Title(参考訳): マルチタスク学習によるディエンタング表現
- Authors: Pantelis Vafidis, Aman Bhargava, Antonio Rangel,
- Abstract要約: 分類タスクを最適に解決するエージェントにおいて,不整合表現の出現を保証する実験および理論的結果を提供する。
マルチタスク分類を訓練したRNNにおいて,これらの予測を実験的に検証した。
私たちは、トランスフォーマーが特に、そのユニークな世界理解能力を説明するような、無関係な表現に向いていることに気付きました。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Intelligent perception and interaction with the world hinges on internal representations that capture its underlying structure ("disentangled" or "abstract" representations). Disentangled representations serve as world models, isolating latent factors of variation in the world along orthogonal directions, thus facilitating feature-based generalization. We provide experimental and theoretical results guaranteeing the emergence of disentangled representations in agents that optimally solve multi-task evidence aggregation classification tasks, canonical in the cognitive neuroscience literature. The key conceptual finding is that, by producing accurate multi-task classification estimates, a system implicitly represents a set of coordinates specifying a disentangled representation of the underlying latent state of the data it receives. The theory provides conditions for the emergence of these representations in terms of noise, number of tasks, and evidence aggregation time. We experimentally validate these predictions in RNNs trained on multi-task classification, which learn disentangled representations in the form of continuous attractors, leading to zero-shot out-of-distribution (OOD) generalization in predicting latent factors. We demonstrate the robustness of our framework across autoregressive architectures, decision boundary geometries and in tasks requiring classification confidence estimation. We find that transformers are particularly suited for disentangling representations, which might explain their unique world understanding abilities. Overall, our framework puts forth parallel processing as a general principle for the formation of cognitive maps that capture the structure of the world in both biological and artificial systems, and helps explain why ANNs often arrive at human-interpretable concepts, and how they both may acquire exceptional zero-shot generalization capabilities.
- Abstract(参考訳): 知的な知覚と世界との相互作用は、その根底にある構造を捉えた内部表現("disentangled" または "abstract" 表現)に依存している。
切り離された表現は世界モデルとして機能し、直交方向に沿って世界の変動の潜在因子を分離し、特徴に基づく一般化を容易にする。
認知神経科学の文献において、マルチタスクのエビデンス・アグリゲーション・アグリゲーション・タスクを最適に解決するエージェントにおいて、不整合表現の出現を保証する実験的および理論的結果を提供する。
鍵となる概念的発見は、正確なマルチタスク分類推定を生成することにより、システムは、受信したデータの下層の潜伏状態の非絡み合った表現を指定する一連の座標を暗黙的に表現することである。
この理論は、ノイズ、タスク数、エビデンス集約時間という観点でこれらの表現が出現する条件を提供する。
マルチタスク分類に基づいて訓練されたRNNにおいて,これらの予測を実験により検証した。これは連続的なアトラクタの形で不整合表現を学習し,潜在因子の予測におけるゼロショットアウト・オブ・ディストリビューション(OOD)の一般化につながる。
自己回帰型アーキテクチャ、決定境界測地、および分類信頼度推定を必要とするタスクにおいて、我々のフレームワークの堅牢性を示す。
私たちは、トランスフォーマーが特に、そのユニークな世界理解能力を説明するような、無関係な表現に向いていることに気付きました。
全体として、我々のフレームワークは、生物と人工の双方で世界の構造を捉えた認知マップの形成の一般的な原則として並列処理を定めており、ANNがしばしば人間に解釈可能な概念に到達する理由、そして両者が例外的なゼロショットの一般化能力をいかに獲得するかを説明するのに役立っている。
関連論文リスト
- Gradient-based inference of abstract task representations for generalization in neural networks [5.794537047184604]
ニューラルネットワークを介してタスク表現層に逆伝播する勾配は、現在のタスク要求を推測する効率的な方法であることを示す。
勾配に基づく推論は、学習効率の向上と、新しいタスクや制限への一般化をもたらすことを実証する。
論文 参考訳(メタデータ) (2024-07-24T15:28:08Z) - Spatio-temporal Value Semantics-based Abstraction for Dense Deep Reinforcement Learning [1.4542411354617986]
Intelligent Cyber-Physical Systems (ICPS)は、CPS(Cyber-Physical System)の特殊な形態を表す。
CNNとDeep Reinforcement Learning (DRL)は、知覚、意思決定、制御を含む多面的なタスクを実行する。
DRLは意思決定プロセスにおける効率性、一般化能力、データの不足という観点で、課題に直面している。
本研究では空間時間値意味論に基づく革新的な抽象的モデリング手法を提案する。
論文 参考訳(メタデータ) (2024-05-24T02:21:10Z) - Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。
我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。
提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
論文 参考訳(メタデータ) (2024-04-24T17:59:48Z) - Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。
オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。
大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
論文 参考訳(メタデータ) (2024-02-23T16:50:07Z) - Understanding Distributed Representations of Concepts in Deep Neural
Networks without Supervision [25.449397570387802]
本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。
我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。
データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
論文 参考訳(メタデータ) (2023-12-28T07:33:51Z) - Labeling Neural Representations with Inverse Recognition [25.867702786273586]
Inverse Recognition (INVERT)は、学習した表現と人間の理解可能な概念を結びつけるためのスケーラブルなアプローチである。
以前の研究とは対照的に、INVERTは多様な種類のニューロンを処理でき、計算の複雑さが小さく、セグメンテーションマスクの可用性に依存しない。
本稿では,様々なシナリオにおけるINVERTの適用性を示す。
論文 参考訳(メタデータ) (2023-11-22T18:55:25Z) - A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。
GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。
提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
論文 参考訳(メタデータ) (2023-09-16T09:15:37Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-27T14:47:52Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Approximating Attributed Incentive Salience In Large Scale Scenarios. A
Representation Learning Approach Based on Artificial Neural Networks [5.065947993017158]
インセンティブ・サリエンス属性による潜在状態を近似するための,人工知能ニューラルネットワーク(ANN)に基づく手法を提案する。
我々は,大規模時系列データセットを用いて,個人と一連のビデオゲームの相互作用の持続時間と強度を推定するANNを設計した。
論文 参考訳(メタデータ) (2021-08-03T20:03:21Z) - Complexity-based speciation and genotype representation for
neuroevolution [81.21462458089142]
本稿では、進化するネットワークを隠されたニューロンの数に基づいて種に分類する神経進化の種分化原理を提案する。
提案された種分化原理は、種および生態系全体における多様性の促進と保存を目的として設計されたいくつかの技術で採用されている。
論文 参考訳(メタデータ) (2020-10-11T06:26:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。