論文の概要: Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective
- arxiv url: http://arxiv.org/abs/2604.26489v1
- Date: Wed, 29 Apr 2026 09:52:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.342235
- Title: Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective
- Title（参考訳）: 特徴相互作用モデルにおけるDNNの理解:次元的崩壊パースペクティブ
- Authors: Jiancheng Wang, Mingjia Yin, Hao Wang, Enhong Chen,
- Abstract要約: DNNの有効性を理解するための新しい視点を提案する。
本評価は,2つの特徴相互作用モデルにおける完全DNNの総合的研究を含む。
実験により, 並列DNNと積み重ねDNNは, 埋め込みの次元的崩壊を効果的に軽減できることを示した。
- 参考スコア（独自算出の注目度）: 45.50697497028273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: DNNs have gained widespread adoption in feature interaction recommendation models. However, there has been a longstanding debate on their roles. On one hand, some works claim that DNNs possess the ability to implicitly capture high-order feature interactions. Conversely, recent studies have highlighted the limitations of DNNs in effectively learning dot products, specifically second-order interactions, let alone higher-order interactions. In this paper, we present a novel perspective to understand the effectiveness of DNNs: their impact on the dimensional robustness of the representations. In particular, we conduct extensive experiments involving both parallel DNNs and stacked DNNs. Our evaluation encompasses an overall study of complete DNN on two feature interaction models, alongside a fine-grained ablation analysis of components within DNNs. Experimental results demonstrate that both parallel and stacked DNNs can effectively mitigate the dimensional collapse of embeddings. Furthermore, a gradient-based theoretical analysis, supported by empirical evidence, uncovers the underlying mechanisms of dimensional collapse.
- Abstract（参考訳）: DNNは機能インタラクションレコメンデーションモデルに広く採用されている。
しかし、その役割については長年にわたり議論が続いている。
一方、DNNは高次機能インタラクションを暗黙的にキャプチャする能力を持っていると主張する研究もある。
逆に、最近の研究はドット製品、特に2階相互作用を効果的に学習する際のDNNの限界を強調している。
本稿では,DNNの有効性を理解するための新しい視点について述べる。
特に、並列DNNとスタックDNNの両方を包含する広範な実験を行う。
本評価は,DNN内の成分の微細なアブレーション解析とともに,2つの特徴相互作用モデルに対する完全DNNの総合的な研究を含む。
実験により, 並列DNNと積み重ねDNNは, 埋め込みの次元的崩壊を効果的に軽減できることを示した。
さらに、経験的証拠に支えられた勾配に基づく理論解析により、次元崩壊のメカニズムが解明される。
関連論文リスト
- Towards the Dynamics of a DNN Learning Symbolic Interactions [20.493304123269446]
近年の一連の定理は、与えられた入力サンプルに対して、入力変数間の相互作用の小さなセットを原始的推論パターンと見なせることを示すために証明されている。
本研究は,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを実証する。
論文 参考訳（メタデータ） (2024-07-27T07:34:49Z) - Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。
本稿では,DNNが2段階の相互作用を学習していることを明らかにする。
第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文 参考訳（メタデータ） (2024-05-16T17:13:25Z) - Unveiling and Mitigating Generalized Biases of DNNs through the Intrinsic Dimensions of Perceptual Manifolds [46.47992213722412]
公正なディープニューラルネットワーク(DNN)の構築は、信頼できる人工知能を達成するための重要なステップである。
本稿では,モデルの公平性と性能を高める固有次元正規化(IDR)を提案する。
様々な画像認識ベンチマークテストにおいて、IDRはモデルバイアスを低減し、性能を向上する。
論文 参考訳（メタデータ） (2024-04-22T04:16:40Z) - Transferability of coVariance Neural Networks and Application to
Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。
我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。
VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文 参考訳（メタデータ） (2023-05-02T22:15:54Z) - Generalization ability and Vulnerabilities to adversarial perturbations: Two sides of the same coin [1.7314342339585087]
自己組織化マップ(SOM)を用いて、ディープラーニングモデルの意思決定に関連する内部コードを分析する。
解析により,入力層に近い浅層が同質コードにマップされ,出力層に近い深層が浅層内のこれらの浅層を多様コードに変換することが示唆された。
論文 参考訳（メタデータ） (2022-05-22T23:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。