論文の概要: Winner-Take-All bottlenecks enforce disentangled symbolic representations in multi-task learning

• arxiv url: http://arxiv.org/abs/2605.22472v1
• Date: Thu, 21 May 2026 13:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.573517
• Title: Winner-Take-All bottlenecks enforce disentangled symbolic representations in multi-task learning
• Title（参考訳）: Winner-Take-Allのボトルネックはマルチタスク学習におけるアンタングル付きシンボル表現を強制する
• Authors: Julian Gutheil, Simon Hitzginger, Robert Legenstein,
• Abstract要約: Winner-take-all(WTA)ネットワークは、脳の皮質ネットワークにおける中心回路モチーフである。 ディープニューラルネットワーク内のWTAボトルネックは、特定の明確に定義された条件下で、データのカテゴリ的潜在因子の抽出に有効であることを示す。
• 参考スコア（独自算出の注目度）: 6.244816393907943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Winner-take-all (WTA) networks constitute a central circuit motif in cortical networks of the brain. In addition, WTA-like activations are abundant in modern deep learning models in the form of the softmax activation for example in attention layers of transformers. While their role in the extraction of latent factors has been studied for relatively simple generative models, their role in the context of highly non-linearly entangled latent factors has remained elusive. In this article, we show that a WTA bottleneck within a deep neural network can enforce under certain well-defined conditions the extraction of categorical latent factors of the data in a multi-task learning setup. In particular, we prove that the representation that emerges in the WTA bottleneck is highly symbolic, where a single neuron or a population of neurons encodes the presence of a single abstract feature such as a specific object, color, or position. We furthermore show empirically on two datasets, that this also holds for architectures and setups that do not fully comply with the assumptions of our theorem and demonstrate the advantages of the acquired symbolic representation for generalization. Our proposed model provides insights into the generalization capabilities of deep neural networks with WTA-like components and may serve as an interface between symbolic and subsymbolic AI systems.
• Abstract（参考訳）: Winner-take-all(WTA)ネットワークは、脳の皮質ネットワークにおける中心回路モチーフである。 加えて、WTAのようなアクティベーションは、例えばトランスフォーマーの注意層におけるソフトマックスアクティベーションの形で、現代のディープラーニングモデルに豊富である。 比較的単純な生成モデルにおいて、潜伏因子の抽出におけるそれらの役割は研究されているが、高度に非線形に絡み合った潜伏因子の文脈におけるそれらの役割はいまだ解明されていない。 本稿では、ディープニューラルネットワーク内のWTAボトルネックが、マルチタスク学習設定において、データのカテゴリ潜在因子の抽出に対して、明確に定義された条件下で実施可能であることを示す。 特に、WTAボトルネックに現れる表現は、単一のニューロンまたはニューロンの集団が特定の物体、色、位置などの単一の抽象的な特徴の存在を符号化する非常に象徴的であることを証明している。 さらに、2つのデータセットに経験的に示し、これは我々の定理の仮定に完全に従わないアーキテクチャや設定にも当てはまり、一般化のための獲得した記号表現の利点を実証する。 提案モデルは,WTAのようなコンポーネントを用いたディープニューラルネットワークの一般化能力に関する洞察を提供し,シンボル型とサブシンボル型AIシステム間のインターフェースとして機能する可能性がある。

関連論文リスト

• A mathematical theory for understanding when abstract representations emerge in neural networks [4.415536082342714]
  フィードフォワード非線形ネットワークの最後に隠された層に潜伏変数の抽象表現が現れることが保証されていることを示す。 これらの表現は、所望の出力の構造や入力刺激の意味を反映している。
  論文  参考訳（メタデータ） (2025-10-10T19:30:57Z)
• Understanding Task Representations in Neural Networks via Bayesian Ablation [1.3980986259786223]
  本稿ではニューラルネットワークにおける潜在タスク表現を解釈するための新しい確率的フレームワークを提案する。 ベイズ推定にインスパイアされた本手法は,タスク性能に対する因果的寄与を推定するために,表現単位を超越した分布を定義する。
  論文  参考訳（メタデータ） (2025-05-19T21:36:09Z)
• Deriving Equivalent Symbol-Based Decision Models from Feedforward Neural Networks [0.0]
  急速な採用にもかかわらず、AIシステムの不透明さは、信頼と受け入れに重大な課題をもたらす。 この研究は、フィードフォワードニューラルネットワーク(FNN)から決定木などのシンボルモデルの導出に焦点を当てている。
  論文  参考訳（メタデータ） (2025-04-16T19:22:53Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。