論文の概要: Canonical locks that encode part-whole hierarchies

• arxiv url: http://arxiv.org/abs/2609.26046v2
• Date: Mon, 28 Sep 2026 00:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.639007
• Title: Canonical locks that encode part-whole hierarchies
• Title（参考訳）: 部分全体階層を符号化するカノニカルロック
• Abstract要約: ニューラルネットワークで部分全体階層をエンコードする方法を示す。 鍵となる考え方は、部分/全体は高次元ベクトルとしてモデル化できるということである。 帰納的に、ネットは位置縛りのボトムアップとトップダウンのニューラルフィールドで構成されている。
• 参考スコア（独自算出の注目度）: 11.258323619150028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the challenges in representational learning is how to encode part-whole hierarchies in a neural net. Prior works rely on flattening tree-like structures into string-like sequences and training a sequence-to-sequence model via autoregression. While such a representation works for parse-trees in NLP, it is not entirely clear how to make it work for images. Thus, we propose a geometric primitive called canonical locks. The key idea is that parts/wholes can be modelled as higher-dimensional vectors ($d \geq 4$), and information can be encoded in their relative phase differences. Inductively, the net consists of positionally-bound bottom-up and top-down neural fields, which drive each other to achieve a state of thermal equilibrium. Additionally, we show the existence of a few symmetrical configurations in the net. The computational iterations taken to break these symmetries depend on the angle between parts/wholes arranged on a disk (or more precisely a ring) in higher dimensions. It also appears to have connections to the psychological phenomenon of mental rotation.
• Abstract（参考訳）: 表現型学習の課題の1つは、ニューラルネットワーク内の部分全体階層をエンコードする方法である。 以前の研究は、木のような構造を文字列のようなシーケンスに平らにし、自動回帰によってシーケンス・ツー・シーケンスモデルをトレーニングすることに依存していた。 このような表現は、NLPのパースツリーで機能するが、画像でどのように動作するかは明らかになっていない。 そこで本研究では,正準ロックと呼ばれる幾何学的プリミティブを提案する。 鍵となる考え方は、部分/全体は高次元ベクトル(d \geq 4$)としてモデル化でき、情報はそれらの相対位相差でエンコードできるということである。 誘導的に、ネットは位置決めされたボトムアップとトップダウンのニューラルフィールドで構成され、互いに駆動し、熱平衡状態を達成する。 さらに、ネット上にいくつかの対称配置が存在することを示す。 これらの対称性を壊すのに要する計算の反復は、より高次元のディスク(またはより正確には環)上に配置された部分と全体の間の角度に依存する。 また、精神的な回転という心理的現象とも関係しているようである。

関連論文リスト

• From Data Statistics to Feature Geometry: How Correlations Shape Superposition [23.393264014989615]
  機械的解釈可能性における中心的な考え方は、ニューラルネットワークが次元よりも多くの特徴を表現することである。 重ね合わせは、特徴がスパースで非相関な理想的な設定で研究されている。 重ね合わせは一般に、幾何学的に最小化され、非線形性によってフィルタリングされなければならない干渉を導入するものとして理解される。
  論文  参考訳（メタデータ） (2026-03-10T17:59:02Z)
• Batch Normalization Decomposed [21.226713936233423]
  バッチ正規化を有するニューラルネットワーク層は、ネットワークによって誘導される表現に影響を与える3つのコンポーネントを含む。 本稿では、バッチ正規化を伴うネットワークの他の2つの重要なコンポーネント、すなわち、最新化と非線形性について分析する。
  論文  参考訳（メタデータ） (2024-12-03T21:18:27Z)
• Emergence of Shape Bias in Convolutional Neural Networks through Activation Sparsity [8.54598311798543]
  現在の物体認識のためのディープラーニングモデルはテクスチャに大きく偏っている。 対照的に、人間の視覚系は形状や構造に偏っていることが知られている。 脳内のユビキタスな原理であるスパースコーディングは、それ自体がネットワークに形状バイアスをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2023-10-29T04:07:52Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• How does training shape the Riemannian geometry of neural network representations? [36.26020698558347]
  本研究では,非拘束型ニューラルネットワーク特徴写像による幾何形状の学習方法について検討する。 まず、無限の幅でランダムパラメータを持つニューラルネットワークが入力空間上で高度に対称なメトリクスを誘導することを示す。 分類タスクを実行するために訓練されたネットワークは、決定境界に沿った地域を拡大するために学習する。
  論文  参考訳（メタデータ） (2023-01-26T19:43:16Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• How to represent part-whole hierarchies in a neural network [0.0]
  本論文では作業システムについて述べる。 代わりに、複数の異なるグループによる進歩を、GLOMと呼ばれる想像システムに統合することのできる表現に関する単一のアイデアを提示している。 GLOMを動作させることができれば、視覚や言語に適用した場合、トランスフォーマーのようなシステムが生成する表現の解釈可能性を大幅に向上させる必要がある。
  論文  参考訳（メタデータ） (2021-02-25T01:51:22Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。