論文の概要: Contravariance Theory: Strong Alignment for Minimal Solutions to Hard Tasks
- arxiv url: http://arxiv.org/abs/2607.08561v1
- Date: Thu, 09 Jul 2026 14:53:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.571867
- Title: Contravariance Theory: Strong Alignment for Minimal Solutions to Hard Tasks
- Title(参考訳): 矛盾理論: 極小解のハードタスクへの強いアライメント
- Authors: Dan Yamins, Aran Nayebi,
- Abstract要約: ネットワーク表現の「弱い」アライメントは特権付き軸の「強い」アライメントを保証する。
また、ネットワーク階層に「ジッパー」をアライメントすることで、エンド・ツー・エンドのタスク最適化から特権付き軸が出現することを示した。
- 参考スコア(独自算出の注目度): 3.5759068679677015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A series of results from the NeuroAI over the past fifteen years have raised core questions both about how to compare Deep Neural Network (DNN) models to the brain, and about how much convergent evolution to expect between artificial networks and real brain networks. Here, we show that for any two minimal DNN solutions to a sufficiently hard task: (i) "weak" alignment of network representations based on affine mappings guarantees "strong" alignment of privileged axes, and (ii) alignment "zippers" up the network hierarchy, causing the emergence of privileged axes from end-to-end task optimization. These results formalize the notion of contravariance from Cao and Yamins [2024], and illustrate important consequences for the theory of NeuroAI: with sufficiently strong tasks, choice of metric for inter-network comparison is not all that sensitive, and that convergent evolution is probably inevitable.
- Abstract(参考訳): この15年間に行われたNeuroAIの一連の結果は、Deep Neural Network(DNN)モデルを脳と比較する方法や、人工ネットワークと実際の脳ネットワークの間にどれだけの収束した進化が期待できるかについて、中心的な疑問を提起している。
ここでは、2つの最小限のDNNソリューションが十分難しい課題であることを示す。
一 アフィンマッピングに基づくネットワーク表現の「弱」アライメントにより、特権軸の「強」アライメントが保証され、
(II)ネットワーク階層に「ジッパー」をアライメントすることで、特権付き軸の出現を、エンドツーエンドのタスク最適化から引き起こす。
これらの結果は、Cao と Yamins [2024] の反変性の概念を定式化し、NeuroAI の理論にとって重要な結果を示す。
関連論文リスト
- Co-Evolved Spiking Neural Network Ensembles via Marginal Contribution Fitness [0.0]
共進化的なアンサンブルは、各ネットワークのグループパフォーマンスへの限界貢献によって定義される適合度によって進化する。
分類,回帰,制御タスクに対するアプローチを,$Caspianのニューロモルフィックハードウェア制約下で評価した。
論文 参考訳(メタデータ) (2026-06-12T00:04:06Z) - Unrolled Graph Neural Networks for Constrained Optimization [83.29547301151177]
2つの結合グラフニューラルネットワーク(GNN)における双対昇降アルゴリズムのダイナミクスについて検討する。
予備的ネットワークと二重ネットワークの更新を交互に行う共同学習手法を提案する。
我々の数値実験は、我々のアプローチがほぼ最適に近いほぼ実現可能な解をもたらすことを示す。
論文 参考訳(メタデータ) (2025-09-21T16:55:41Z) - From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。
提案した非線形署名の実用性を明らかにするための実験結果について述べる。
論文 参考訳(メタデータ) (2023-10-17T17:50:22Z) - Adversarial Attacks to Latent Representations of Distributed Neural Networks in Split Computing [5.203270276415045]
分散ディープニューラルネットワーク(DNN)は、モバイルデバイスの計算負担を低減し、エッジコンピューティングシナリオにおけるエンドツーエンドの推論レイテンシを低減することが示されている。
本稿では,分散DNNの対戦行動に対するロバスト性を厳格に分析することにより,既存の研究ギャップを埋める。
論文 参考訳(メタデータ) (2023-09-29T17:01:29Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳(メタデータ) (2023-02-28T00:04:22Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳(メタデータ) (2021-06-15T09:03:28Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳(メタデータ) (2020-06-15T17:06:17Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳(メタデータ) (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。