Fugu-MT 論文翻訳(概要): Disentangling Representations through Multi-task Learning

論文の概要: Disentangling Representations through Multi-task Learning

arxiv url: http://arxiv.org/abs/2407.11249v2
Date: Tue, 15 Oct 2024 07:03:07 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 21:10:26.234299
Title: Disentangling Representations through Multi-task Learning
Title（参考訳）: マルチタスク学習によるディエンタング表現
Authors: Pantelis Vafidis, Aman Bhargava, Antonio Rangel,
Abstract要約: 分類タスクを最適に解決するエージェントにおいて,不整合表現の出現を保証する実験および理論的結果を提供する。マルチタスク分類を訓練したRNNにおいて,これらの予測を実験的に検証した。私たちは、トランスフォーマーが特に、そのユニークな世界理解能力を説明するような、無関係な表現に向いていることに気付きました。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Intelligent perception and interaction with the world hinges on internal representations that capture its underlying structure ("disentangled" or "abstract" representations). Disentangled representations serve as world models, isolating latent factors of variation in the world along orthogonal directions, thus facilitating feature-based generalization. We provide experimental and theoretical results guaranteeing the emergence of disentangled representations in agents that optimally solve multi-task evidence aggregation classification tasks, canonical in the cognitive neuroscience literature. The key conceptual finding is that, by producing accurate multi-task classification estimates, a system implicitly represents a set of coordinates specifying a disentangled representation of the underlying latent state of the data it receives. The theory provides conditions for the emergence of these representations in terms of noise, number of tasks, and evidence aggregation time. We experimentally validate these predictions in RNNs trained on multi-task classification, which learn disentangled representations in the form of continuous attractors, leading to zero-shot out-of-distribution (OOD) generalization in predicting latent factors. We demonstrate the robustness of our framework across autoregressive architectures, decision boundary geometries and in tasks requiring classification confidence estimation. We find that transformers are particularly suited for disentangling representations, which might explain their unique world understanding abilities. Overall, our framework puts forth parallel processing as a general principle for the formation of cognitive maps that capture the structure of the world in both biological and artificial systems, and helps explain why ANNs often arrive at human-interpretable concepts, and how they both may acquire exceptional zero-shot generalization capabilities.
Abstract（参考訳）: 知的な知覚と世界との相互作用は、その根底にある構造を捉えた内部表現("disentangled" または "abstract" 表現)に依存している。切り離された表現は世界モデルとして機能し、直交方向に沿って世界の変動の潜在因子を分離し、特徴に基づく一般化を容易にする。認知神経科学の文献において、マルチタスクのエビデンス・アグリゲーション・アグリゲーション・タスクを最適に解決するエージェントにおいて、不整合表現の出現を保証する実験的および理論的結果を提供する。鍵となる概念的発見は、正確なマルチタスク分類推定を生成することにより、システムは、受信したデータの下層の潜伏状態の非絡み合った表現を指定する一連の座標を暗黙的に表現することである。この理論は、ノイズ、タスク数、エビデンス集約時間という観点でこれらの表現が出現する条件を提供する。マルチタスク分類に基づいて訓練されたRNNにおいて,これらの予測を実験により検証した。これは連続的なアトラクタの形で不整合表現を学習し,潜在因子の予測におけるゼロショットアウト・オブ・ディストリビューション(OOD)の一般化につながる。自己回帰型アーキテクチャ、決定境界測地、および分類信頼度推定を必要とするタスクにおいて、我々のフレームワークの堅牢性を示す。私たちは、トランスフォーマーが特に、そのユニークな世界理解能力を説明するような、無関係な表現に向いていることに気付きました。全体として、我々のフレームワークは、生物と人工の双方で世界の構造を捉えた認知マップの形成の一般的な原則として並列処理を定めており、ANNがしばしば人間に解釈可能な概念に到達する理由、そして両者が例外的なゼロショットの一般化能力をいかに獲得するかを説明するのに役立っている。

関連論文リスト

Uniting contrastive and generative learning for event sequences models [51.547576949425604]
本研究では,2つの自己指導型学習手法 – 例えば,コントラスト学習と,潜在空間におけるマスクイベントの復元に基づく生成的アプローチ – の統合について検討する。いくつかの公開データセットで行った実験は、シーケンス分類と次点型予測に焦点を合わせ、統合された手法が個々の手法と比較して優れた性能を達成することを示した。
論文参考訳（メタデータ） (2024-08-19T13:47:17Z)
Latent Communication in Artificial Neural Networks [2.5947832846531886]
この論文は神経表現の普遍性と再利用性に焦点を当てている。我々の研究から得られた顕著な観察は、潜在表現における類似性の出現である。
論文参考訳（メタデータ） (2024-06-16T17:13:58Z)
Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
論文参考訳（メタデータ） (2024-02-23T16:50:07Z)
Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision [25.449397570387802]
本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
論文参考訳（メタデータ） (2023-12-28T07:33:51Z)
Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文参考訳（メタデータ） (2022-11-26T21:02:09Z)
Generalized Representations Learning for Time Series Classification [28.230863650758447]
時間的複雑性は時系列分類における未知の潜在分布に起因していると主張する。本研究では,ジェスチャー認識,音声コマンド認識,ウェアラブルストレスと感情検出,センサによる人間の活動認識に関する実験を行う。
論文参考訳（メタデータ） (2022-09-15T03:36:31Z)
On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文参考訳（メタデータ） (2022-06-09T16:24:01Z)
Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
論文参考訳（メタデータ） (2022-03-07T10:56:13Z)
Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文参考訳（メタデータ） (2021-10-12T23:22:45Z)
A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
論文参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。