論文の概要: Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds

• arxiv url: http://arxiv.org/abs/2606.19941v1
• Date: Thu, 18 Jun 2026 08:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.737341
• Title: Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds
• Title（参考訳）: 狭い深さ-接続性レジームにおける構成性の創発:アーキテクチャ制約と解多様体
• Authors: Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu,
• Abstract要約: 構成性が狭い接続深度スイートスポットに現れることを示す。 これらの知見を,構成空間,体積比論,特徴干渉境界に基づく理論的枠組みで支援する。
• 参考スコア（独自算出の注目度）: 2.638670738998938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositionality is believed to be the foundation for generalization, enabling models to reuse meaningful primitives in novel combinations. Yet, models trained with standard gradient-based optimization rarely, and often only weakly, exhibit compositional internal structure, and it remains unclear how or why such compositionality forms. In this work, we show that compositionality emerges in a narrow connectivity-depth sweet spot. Along the connectivity axis, compositionality only appears in some specifically sparse networks, heavily depends on which connections remain rather than on weights' sparsity alone. Along the depth axis, compositionality emerges within a narrow, target-dependent regime, peaking at specific depths, while both shallower and deeper networks fail. When either the depth or connectivity condition is violated, gradient descent silently converges to fractured solutions rather than compositional ones. To discover and exploit this emergence, we introduce (i) similarity-based pruning (SP) to recover compositional connectivity and (ii) a heuristic depth predictor to estimate where compositionality is most likely to appear. Finally, we support these empirical findings with a theoretical framework based on compositional sparsity, volume-ratio arguments, and feature-interference bounds, explaining why compositional solutions are reachable only in a narrow depth-connectivity regime.
• Abstract（参考訳）: 構成性は一般化の基礎であり、モデルが新しい組み合わせで意味のある原始を再利用できるようにする。 しかし、標準勾配に基づく最適化で訓練されたモデルはまれであり、しばしば弱く、構成内部構造を示す。 本研究は, 細い接続深度スイートスポットにおいて, 構成性が出現することを示す。 接続軸に沿って、構成性は特定の疎いネットワークにのみ現れるが、重みのみではなく、どの接続が残るかに大きく依存する。 深度軸に沿って、構成性は狭く、目標に依存した状態に現れ、特定の深さでピークに達するが、より浅いネットワークと深いネットワークの両方は失敗する。 深さまたは接続条件に違反した場合、勾配降下は組成よりも破壊解に静かに収束する。 この出現を発見し、活用するために、我々は導入する (i)類似性に基づくプルーニング(SP)による構成接続の回復 (ii)構成性が最も出現しやすい場所を推定するヒューリスティック深度予測器。 最後に, これらの経験的知見を, 組成空間, 体積比論, 特徴干渉境界に基づく理論的枠組みで支持し, 組成解が狭い深さ接続系でのみ到達可能である理由を説明する。

関連論文リスト

• The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints [4.192948150195333]
  経験的に、異なる問題を個別に解決するのではなく、類似性を活用すれば、全体的なパフォーマンスが大幅に向上する。 また,各クラスにおける記述長の上限値と上限値について一様ノルムで検証した。 これは、構成多出力アーキテクチャの記述長効率に関する理論的洞察を与える。
  論文  参考訳（メタデータ） (2026-06-14T21:25:58Z)
• EpiDiffVO: Geometry-Aware Epipolar Diffusion for Robust Visual Odometry [0.0]
  画像対から相対的なポーズを推定するには、幾何学的に一貫した対応の最小限のサブセットしか必要としない。 幾何学的整合性に最適化されたコンパクトな対応セットを予測できるスパースエピポーラマッチングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T08:53:26Z)
• Aitchison Embeddings for Learning Compositional Graph Representations [8.849342925277577]
  混合の比較のための標準幾何学であるアッチソン幾何に基づくグラフ埋め込みフレームワークを提案する。 提案手法は,ポストホックではなく建設による説明性を提供しながら,強いベースラインを持つ競争性能を実現する。
  論文  参考訳（メタデータ） (2026-05-01T15:05:23Z)
• The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
  本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。 局所性と重量共有が根本的に変化していることが示されています。
  論文  参考訳（メタデータ） (2026-03-05T04:50:51Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Multi-step Predictive Coding Leads To Simplicity Bias [2.8933605229876664]
  本研究では,予測水平線とネットワーク深度が予測符号化タスクの解をどう形成するかを検討する。 多段階予測地平線で訓練された十分に深いネットワークが、基盤となる潜伏構造を継続的に回復することを示す。 この結果から,予測符号化が構造的表現を誘導する時期と理由の原理的理解が得られた。
  論文  参考訳（メタデータ） (2025-11-12T12:57:19Z)
• Pushing Boundaries: Mixup's Influence on Neural Collapse [3.6919724596215615]
  Mixupは、深層ニューラルネットワークの堅牢性とキャリブレーションを強化するために、トレーニングインスタンスと各ラベルの凸結合を利用するデータ拡張戦略である。 本研究では,ミックスアップを受ける深層ネットワークにおけるトレーニングデータの最終層活性化について検討した。 ここでは,Mixupの最終層活性化が,期待と異なる独特の構成に主に収束していることを示す。
  論文  参考訳（メタデータ） (2024-02-09T04:01:25Z)
• Learning Attention Propagation for Compositional Zero-Shot Learning [71.55375561183523]
  コンポジションアテンション・プロパゲード・エンベディング(CAPE)と呼ばれる新しい手法を提案する。 CAPEは、この構造を識別し、それらの間の知識を伝播して、目に見えないすべての構成に対するクラス埋め込みを学ぶ。 提案手法は,3つの公開ベンチマークに対して,新しい最先端のベンチマークを設定するために,従来のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T19:44:11Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Local Propagation in Constraint-based Neural Network [77.37829055999238]
  ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。 本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
  論文  参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。