論文の概要: Bound by semanticity: universal laws governing the generalization-identification tradeoff
- arxiv url: http://arxiv.org/abs/2506.14797v1
- Date: Sun, 01 Jun 2025 15:56:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-22 23:32:14.684433
- Title: Bound by semanticity: universal laws governing the generalization-identification tradeoff
- Title（参考訳）: 意味論的境界:一般化識別トレードオフを規定する普遍法則
- Authors: Marco Nurisso, Jesseba Fernando, Raj Deshpande, Alan Perotti, Raja Marjieh, Steven M. Frankland, Richard L. Lewis, Taylor W. Webb, Declan Campbell, Francesco Vaccarino, Jonathan D. Cohen, Giovanni Petri,
- Abstract要約: 有限分解能の類似性は、単なる玩具・模型の人工物ではなく、基本的な創発的な情報制約であることを示す。
これらの結果は、一般化識別トレードオフの正確な理論を提供し、意味論的解決がディープネットワークや脳の表現能力をどのように形成するかを明らかにする。
- 参考スコア（独自算出の注目度）: 8.437463955457423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intelligent systems must deploy internal representations that are simultaneously structured -- to support broad generalization -- and selective -- to preserve input identity. We expose a fundamental limit on this tradeoff. For any model whose representational similarity between inputs decays with finite semantic resolution $\varepsilon$, we derive closed-form expressions that pin its probability of correct generalization $p_S$ and identification $p_I$ to a universal Pareto front independent of input space geometry. Extending the analysis to noisy, heterogeneous spaces and to $n>2$ inputs predicts a sharp $1/n$ collapse of multi-input processing capacity and a non-monotonic optimum for $p_S$. A minimal ReLU network trained end-to-end reproduces these laws: during learning a resolution boundary self-organizes and empirical $(p_S,p_I)$ trajectories closely follow theoretical curves for linearly decaying similarity. Finally, we demonstrate that the same limits persist in two markedly more complex settings -- a convolutional neural network and state-of-the-art vision-language models -- confirming that finite-resolution similarity is a fundamental emergent informational constraint, not merely a toy-model artifact. Together, these results provide an exact theory of the generalization-identification trade-off and clarify how semantic resolution shapes the representational capacity of deep networks and brains alike.
- Abstract（参考訳）: インテリジェントシステムは、入力アイデンティティを保持するために、広範囲な一般化と選択をサポートするために、同時に構造化された内部表現をデプロイする必要があります。
このトレードオフには根本的な制限があります。
入力間の表現的類似性が有限意味分解$\varepsilon$で崩壊する任意のモデルに対して、正しい一般化の確率を極める閉形式式を導出し、入力空間幾何学とは無関係なパレートフロントに$p_I$を識別する。
ノイズの多いヘテロジニアスな空間と$n>2$の入力に解析を拡張することで、マルチインプット処理能力の急激な1/n$の崩壊と、$p_S$の非モノトニック最適化が予測される。
最小限のReLUネットワークは、これらの法則を再現する: 分解境界の自己組織化と経験的$(p_S,p_I)$トラジェクトリは、線形に崩壊する類似性の理論曲線に密接に従う。
最後に、同じ制限が、畳み込みニューラルネットワーク(convolutional neural network)と最先端のビジョン言語モデル(state-of-the-the-art vision- language model)という2つの明らかに複雑な設定で持続していることを示し、有限解像度の類似性は、単なる玩具モデルアーティファクトではなく、基本的な創発的な情報制約であることを確認した。
これらの結果は、一般化識別トレードオフの正確な理論を提供し、意味論的解決がディープネットワークや脳の表現能力をどのように形成するかを明らかにする。
関連論文リスト
- Neural Expectation Operators [2.1756081703276]
本稿では,非線形予測によるあいまいさをモデル化するためのパラダイムであるtextbfMeasure Learningを紹介する。
我々はニューラル期待演算子を、ドライバがニューラルネットワークによってパラメータ化される後方微分方程式(BSDEs)の解として定義する。
本稿では,建築設計による凸性などの重要な公理特性の強化のための建設的手法を提案する。
論文 参考訳（メタデータ） (2025-07-13T06:19:28Z) - Deep Generative Models: Complexity, Dimensionality, and Approximation [18.530164193967945]
生成ネットワークは低次元入力から高次元データを生成することができることを示す。
本研究は,入力次元と生成ネットワークによるデータ分布のモデル化能力の関係について考察した。
この新たな洞察は、複雑なデータ構造を扱うための生成ネットワークの実用的効果を裏付けるだけでなく、近似誤差、次元性、モデルの複雑さの間の重要なトレードオフを浮き彫りにする。
論文 参考訳（メタデータ） (2025-04-01T14:07:02Z) - Interaction Asymmetry: A General Principle for Learning Composable Abstractions [27.749478197803256]
相互作用非対称性は、アンタングル化と合成一般化の両方を可能にすることを示す。
本稿では, フレキシブルトランスフォーマーをベースとしたVAEを用いて, デコーダの注意重みに対する新しい正規化器を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:33:26Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。
我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
論文 参考訳（メタデータ） (2023-06-19T14:07:10Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳（メタデータ） (2023-03-17T16:30:51Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:59:41Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳（メタデータ） (2020-02-25T23:05:33Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。