論文の概要: Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective

• arxiv url: http://arxiv.org/abs/2604.26489v1
• Date: Wed, 29 Apr 2026 09:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.342235
• Title: Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective
• Title（参考訳）: 特徴相互作用モデルにおけるDNNの理解:次元的崩壊パースペクティブ
• Abstract要約: DNNの有効性を理解するための新しい視点を提案する。 本評価は,2つの特徴相互作用モデルにおける完全DNNの総合的研究を含む。 実験により, 並列DNNと積み重ねDNNは, 埋め込みの次元的崩壊を効果的に軽減できることを示した。
• 参考スコア（独自算出の注目度）: 45.50697497028273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: DNNs have gained widespread adoption in feature interaction recommendation models. However, there has been a longstanding debate on their roles. On one hand, some works claim that DNNs possess the ability to implicitly capture high-order feature interactions. Conversely, recent studies have highlighted the limitations of DNNs in effectively learning dot products, specifically second-order interactions, let alone higher-order interactions. In this paper, we present a novel perspective to understand the effectiveness of DNNs: their impact on the dimensional robustness of the representations. In particular, we conduct extensive experiments involving both parallel DNNs and stacked DNNs. Our evaluation encompasses an overall study of complete DNN on two feature interaction models, alongside a fine-grained ablation analysis of components within DNNs. Experimental results demonstrate that both parallel and stacked DNNs can effectively mitigate the dimensional collapse of embeddings. Furthermore, a gradient-based theoretical analysis, supported by empirical evidence, uncovers the underlying mechanisms of dimensional collapse.
• Abstract（参考訳）: DNNは機能インタラクションレコメンデーションモデルに広く採用されている。 しかし、その役割については長年にわたり議論が続いている。 一方、DNNは高次機能インタラクションを暗黙的にキャプチャする能力を持っていると主張する研究もある。 逆に、最近の研究はドット製品、特に2階相互作用を効果的に学習する際のDNNの限界を強調している。 本稿では,DNNの有効性を理解するための新しい視点について述べる。 特に、並列DNNとスタックDNNの両方を包含する広範な実験を行う。 本評価は,DNN内の成分の微細なアブレーション解析とともに,2つの特徴相互作用モデルに対する完全DNNの総合的な研究を含む。 実験により, 並列DNNと積み重ねDNNは, 埋め込みの次元的崩壊を効果的に軽減できることを示した。 さらに、経験的証拠に支えられた勾配に基づく理論解析により、次元崩壊のメカニズムが解明される。

関連論文リスト

• Joint Universal Adversarial Perturbations with Interpretations [19.140429650679593]
  本稿では,JUAP(Universal Reversarial Perturbation)を生成する新たな攻撃フレームワークを提案する。 我々の知る限りでは、これはDNNと解釈の両方を共同攻撃するUAPを研究する最初の試みである。
  論文  参考訳（メタデータ） (2024-08-03T08:58:04Z)
• Towards the Dynamics of a DNN Learning Symbolic Interactions [20.493304123269446]
  近年の一連の定理は、与えられた入力サンプルに対して、入力変数間の相互作用の小さなセットを原始的推論パターンと見なせることを示すために証明されている。 本研究は,DNNの一般化能力が学習過程においてどのように変化するかの理論的メカニズムとして,相互作用の2相ダイナミクスを実証する。
  論文  参考訳（メタデータ） (2024-07-27T07:34:49Z)
• Causal inference through multi-stage learning and doubly robust deep neural networks [10.021381302215062]
  ディープニューラルネットワーク(DNN)は、大規模教師付き学習問題において顕著な経験的性能を示した。 本研究は、複雑な因果推論タスクの幅広い範囲にわたるDNNの適用について検討する。
  論文  参考訳（メタデータ） (2024-07-11T14:47:44Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Unveiling and Mitigating Generalized Biases of DNNs through the Intrinsic Dimensions of Perceptual Manifolds [46.47992213722412]
  公正なディープニューラルネットワーク(DNN)の構築は、信頼できる人工知能を達成するための重要なステップである。 本稿では,モデルの公平性と性能を高める固有次元正規化(IDR)を提案する。 様々な画像認識ベンチマークテストにおいて、IDRはモデルバイアスを低減し、性能を向上する。
  論文  参考訳（メタデータ） (2024-04-22T04:16:40Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• On the Relationship Between Adversarial Robustness and Decision Region in Deep Neural Networks [24.82243003178264]
  敵攻撃時のモデルロバスト性に影響を与えるディープニューラルネットワーク(DNN)の内部特性について検討する。 本稿では,より頻度の高いトレーニングサンプルを配置するPRS(Populated Region Set)の概念を提案する。
  論文  参考訳（メタデータ） (2022-07-07T16:06:34Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Generalization ability and Vulnerabilities to adversarial perturbations: Two sides of the same coin [1.7314342339585087]
  自己組織化マップ(SOM)を用いて、ディープラーニングモデルの意思決定に関連する内部コードを分析する。 解析により,入力層に近い浅層が同質コードにマップされ,出力層に近い深層が浅層内のこれらの浅層を多様コードに変換することが示唆された。
  論文  参考訳（メタデータ） (2022-05-22T23:14:27Z)
• Deep Neural Networks Are Congestion Games: From Loss Landscape to Wardrop Equilibrium and Beyond [12.622643370707328]
  我々の研究は、ディープニューラルネットワーク(DNN)を解析するための非常に有望な新しいツールを提供する、と我々は主張する。 前者を分析する際に、後者から利用できる古典的な結果の恩恵を受ける方法を示す。
  論文  参考訳（メタデータ） (2020-10-21T14:11:40Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。