論文の概要: Emergence of Quantised Representations Isolated to Anisotropic Functions
- arxiv url: http://arxiv.org/abs/2507.12070v2
- Date: Wed, 30 Jul 2025 09:07:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 14:05:51.356009
- Title: Emergence of Quantised Representations Isolated to Anisotropic Functions
- Title（参考訳）: 異方性関数に分離された量子表現の創発
- Authors: George Bird,
- Abstract要約: 本稿では,既存のSpotlight Resonance法に基づいて表現アライメントを決定する。
新しいツールは、オートエンコーダモデルにおいて、離散表現がどのように出現し、編成されるかについての洞察を得るために使用される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel methodology for determining representational alignment, which builds upon the existing Spotlight Resonance method. Particularly, this new tool is used to gain insight into how discrete representations can emerge and organise in autoencoder models, through a controlled ablation study in which only the activation function is altered. Using this technique, the validity of whether function-driven symmetries can act as implicit inductive biases on representations is determined. Representations are found to tend to discretise when the activation functions are defined through a discrete algebraic permutation-equivariant symmetry. In contrast, they remain continuous under a continuous algebraic orthogonal-equivariant definition. This confirms the hypothesis: algebraic symmetries of network primitives can carry unintended inductive biases which produce task-independent artefactual structures in representations. The discrete symmetry of contemporary forms is shown to be a strong predictor for the induction of discrete representations transformed from otherwise continuous structures -- a quantisation effect. This motivates further reassessment of functional forms in common usage. Moreover, this supports a general causal model for one mode in which discrete representations may form, and could constitute a prerequisite for downstream interpretability phenomena, including grandmother neurons, discrete coding schemes, general linear features and possibly Superposition. Hence, this tool and proposed mechanism for the influence of functional form on representations may provide insights into emergent interpretability research. Finally, preliminary results indicate that quantisation of representations appears to correlate with a measurable increase in reconstruction error, reinforcing previous conjectures that this collapse can be detrimental.
- Abstract（参考訳）: 本稿では,既存のスポットライト共振法に基づく表現アライメント決定手法を提案する。
特に、この新ツールは、アクティベーション関数のみを変更する制御されたアブレーション研究を通じて、オートエンコーダモデルにおける離散表現がどのように出現し、組織化されるかについての洞察を得るために使用される。
この手法を用いて、関数駆動対称性が表現に暗黙の帰納バイアスとして作用するかどうかを判定する。
表現は、活性化関数が離散代数的置換-等変対称性によって定義されるとき、離散化する傾向がある。
対照的に、それらは連続代数的直交-同変の定義の下で連続である。
ネットワークプリミティブの代数対称性は意図しない帰納的バイアスを持ち、表現においてタスク非依存の人工的構造を生成する。
現代形式の離散対称性は、他の連続構造から変換された離散表現(量子化効果)を誘導するための強い予測因子であることが示されている。
このことは、共通利用における機能形式のさらなる再評価を動機付けている。
さらに、これは離散表現が形成されうる1つのモードの一般的な因果モデルをサポートし、祖母ニューロン、離散符号化スキーム、一般的な線形特徴、あるいは重畳を含む下流の解釈可能性現象の前提条件を構成することができる。
したがって、このツールと機能形式が表現に与える影響のメカニズムは、創発的解釈可能性の研究に対する洞察を与える可能性がある。
最後に、予備的な結果は、表現の量子化が再構成誤差の計測可能な増加と相関していることを示し、この崩壊が有害な可能性があるという以前の予想を補強している。
関連論文リスト
- A Free Probabilistic Framework for Analyzing the Transformer-based Language Models [19.78896931593813]
本稿では,トランスフォーマーに基づく言語モデル解析のための演算子理論フレームワークについて概説する。
我々は、注意を非可換的畳み込みとして再解釈し、表現の階層的伝播を自由加法的畳み込みによって支配される進化とみなす。
論文 参考訳（メタデータ） (2025-06-19T19:13:02Z) - Solving Inverse Problems in Stochastic Self-Organising Systems through Invariant Representations [12.394699094197545]
自己組織化システムは、いかに単純なローカルルールが複雑なパターンを生成するかを示す。
多くの自然系はそのような力学に依存しており、自己組織は自然の複雑さを理解する中心となる。
このようなシステムのモデル化における根本的な課題は、マクロ的な観察から未知の因果パラメータを見つけるという逆問題の解決である。
論文 参考訳（メタデータ） (2025-06-13T14:01:39Z) - The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。
理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
論文 参考訳（メタデータ） (2025-05-23T13:31:22Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳（メタデータ） (2024-01-10T02:38:21Z) - Unifying Causal Inference and Reinforcement Learning using Higher-Order
Category Theory [4.119151469153588]
本稿では、強化学習における因果関係モデルと予測状態表現モデルの構造発見のための統一的な定式化を提案する。
具体的には、単純なオブジェクトを用いて、両方の設定で構造発見をモデル化する。
論文 参考訳（メタデータ） (2022-09-13T19:04:18Z) - Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文 参考訳（メタデータ） (2021-09-03T09:25:57Z) - Discovering Latent Causal Variables via Mechanism Sparsity: A New
Principle for Nonlinear ICA [81.4991350761909]
ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。
潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
論文 参考訳（メタデータ） (2021-07-21T14:22:14Z) - Linear Disentangled Representations and Unsupervised Action Estimation [2.793095554369282]
線形不整合表現は標準VAEモデルには一般的に存在しないことを示す。
本稿では,ラベル付けされたアクションシーケンスの必要性を回避し,既約表現を誘導する手法を提案する。
論文 参考訳（メタデータ） (2020-08-18T13:23:57Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z) - Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。
主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
論文 参考訳（メタデータ） (2019-06-05T07:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。