論文の概要: The Interaction Bottleneck of Deep Neural Networks: Discovery, Proof, and Modulation

• arxiv url: http://arxiv.org/abs/2512.18607v1
• Date: Sun, 21 Dec 2025 05:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.416609
• Title: The Interaction Bottleneck of Deep Neural Networks: Discovery, Proof, and Modulation
• Title（参考訳）: ディープニューラルネットワークの相互作用基盤:発見,証明,変調
• Authors: Huiqi Deng, Qihan Ren, Zhuofan Chen, Zhenyuan Cui, Wen Shen, Peng Zhang, Hongbin Pei, Quanshi Zhang,
• Abstract要約: 深層ニューラルネットワークは、コンテキストの複雑さの異なるレベルにおける相互作用をエンコードする方法を研究する。 DNNは低次の相互作用や高次の相互作用を簡単に学習できるが、一貫して低次の相互作用を表現できる。 これらの結果は、ディープ表現の解釈と導出のための強力なレンズとして相互作用順序を確立する。
• 参考スコア（独自算出の注目度）: 30.18664515203697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding what kinds of cooperative structures deep neural networks (DNNs) can represent remains a fundamental yet insufficiently understood problem. In this work, we treat interactions as the fundamental units of such structure and investigate a largely unexplored question: how DNNs encode interactions under different levels of contextual complexity, and how these microscopic interaction patterns shape macroscopic representation capacity. To quantify this complexity, we use multi-order interactions [57], where each order reflects the amount of contextual information required to evaluate the joint interaction utility of a variable pair. This formulation enables a stratified analysis of cooperative patterns learned by DNNs. Building on this formulation, we develop a comprehensive study of interaction structure in DNNs. (i) We empirically discover a universal interaction bottleneck: across architectures and tasks, DNNs easily learn low-order and high-order interactions but consistently under-represent mid-order ones. (ii) We theoretically explain this bottleneck by proving that mid-order interactions incur the highest contextual variability, yielding large gradient variance and making them intrinsically difficult to learn. (iii) We further modulate the bottleneck by introducing losses that steer models toward emphasizing interactions of selected orders. Finally, we connect microscopic interaction structures with macroscopic representational behavior: low-order-emphasized models exhibit stronger generalization and robustness, whereas high-order-emphasized models demonstrate greater structural modeling and fitting capability. Together, these results uncover an inherent representational bias in modern DNNs and establish interaction order as a powerful lens for interpreting and guiding deep representations.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)がどのような種類の協調構造を表現できるかを理解することは、根本的だが十分に理解されていない問題である。 本研究では,これらの構造の基本単位として相互作用を扱い,DNNがコンテキストの複雑さの異なるレベルで相互作用をエンコードする方法について,そしてこれらの微視的相互作用パターンがどのようにマクロ的な表現能力を形成するかという,ほとんど探索されていない疑問を考察する。 この複雑さを定量化するために、各順序が変数ペアの結合相互作用ユーティリティを評価するのに必要なコンテキスト情報の量を反映する多階相互作用 [57] を用いる。 この定式化は、DNNが学習した協調パターンの階層化分析を可能にする。 この定式化に基づいて,DNNにおける相互作用構造を包括的に研究する。 (i)アーキテクチャやタスク間で、DNNは低階と高階の相互作用を簡単に学習するが、一貫して低階の相互作用を表現できないという、普遍的な相互作用のボトルネックを経験的に発見する。 (II) このボトルネックを理論的に説明するために, 中間階の相互作用は, 文脈的変動が最大であり, 勾配のばらつきが大きく, 学習が本質的に困難であることを証明した。 3) 選択された順序の相互作用を強調するために, ステアモデルによる損失を導入することにより, さらにボトルネックを緩和する。 最後に,微視的相互作用構造とマクロ的表現的挙動を結合する:低次強調モデルはより強力な一般化と堅牢性を示すが,高次強調モデルはより優れた構造モデリングと適合性を示す。 これらの結果は、現代のDNNに固有の表現バイアスを明らかにし、深い表現の解釈と導出のための強力なレンズとして相互作用秩序を確立する。

関連論文リスト

• High-order Interactions Modeling for Interpretable Multi-Agent Q-Learning [22.42637658125405]
  高次相互作用をモデル化するためのこれまでの努力は、強化爆発やブラックボックスネットワーク構造の不透明な性質によって妨げられている。 本稿では、任意の順序のエージェント相互作用を柔軟にキャプチャできる、Continued Fraction Q-Learning(QCoFr)と呼ばれる新しい値分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-23T05:08:32Z)
• Broad Spectrum Structure Discovery in Large-Scale Higher-Order Networks [1.7273380623090848]
  本稿では,大規模ハイパーグラフにおいて,メソスケールの広いスペクトルを効率的に表現し,発見する確率モデルについて紹介する。 低ランク表現を用いたクラス間の潜時相互作用による観測ノードの相互作用をモデル化することにより、我々はリッチな構造パターンを抽出する。 提案モデルは,最先端手法によるリンク予測を改善し,多様な実世界のシステムにおける解釈可能な構造を発見する。
  論文  参考訳（メタデータ） (2025-05-27T20:34:58Z)
• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  RelGNNはリレーショナルデータベースから構築されたグラフのユニークな構造特性を活用するために特別に設計された新しいGNNフレームワークである。 RelGNNは、Relbench(Fey et al., 2024)から30の多様な実世界のタスクで評価され、ほとんどのタスクで最先端のパフォーマンスを実現し、最大25%の改善を実現している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Neural Relational Inference with Fast Modular Meta-learning [25.313516707169498]
  グラフニューラルネットワーク(GNN)は、実体と関係からなる多くの力学系に対して有効なモデルである。 リレーショナル推論は、これらの相互作用を推測し、観測データからダイナミクスを学習する問題である。 関係推論は、多くの課題を解決するために、ニューラルネットワークモジュールをさまざまな方法で構成するように訓練する、テクティモジュラーなメタラーニング問題である。
  論文  参考訳（メタデータ） (2023-10-10T21:05:13Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
  本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。 入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。 DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
  論文  参考訳（メタデータ） (2021-11-11T14:35:20Z)
• Discrete-Valued Neural Communication [85.3675647398994]
  コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。 個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。 我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
  論文  参考訳（メタデータ） (2021-07-06T03:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。