論文の概要: xDeepInt: a hybrid architecture for modeling the vector-wise and bit-wise feature interactions

• arxiv url: http://arxiv.org/abs/2301.01089v1
• Date: Tue, 3 Jan 2023 13:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-01-04 13:55:27.394450
• Title: xDeepInt: a hybrid architecture for modeling the vector-wise and bit-wise feature interactions
• Title（参考訳）: xDeepInt:ベクトルとビットの相互作用をモデル化するハイブリッドアーキテクチャ
• Authors: YaChen Yan, Liubo Li
• Abstract要約: ベクトルワイドとビットワイドの機能相互作用の混合をバランスさせる新しいモデル xDeepInt を提案する。 実験の結果, 最先端モデルに対するxDeepIntの有効性と有効性を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning feature interactions is the key to success for the large-scale CTR prediction and recommendation. In practice, handcrafted feature engineering usually requires exhaustive searching. In order to reduce the high cost of human efforts in feature engineering, researchers propose several deep neural networks (DNN)-based approaches to learn the feature interactions in an end-to-end fashion. However, existing methods either do not learn both vector-wise interactions and bit-wise interactions simultaneously, or fail to combine them in a controllable manner. In this paper, we propose a new model, xDeepInt, based on a novel network architecture called polynomial interaction network (PIN) which learns higher-order vector-wise interactions recursively. By integrating subspace-crossing mechanism, we enable xDeepInt to balance the mixture of vector-wise and bit-wise feature interactions at a bounded order. Based on the network architecture, we customize a combined optimization strategy to conduct feature selection and interaction selection. We implement the proposed model and evaluate the model performance on three real-world datasets. Our experiment results demonstrate the efficacy and effectiveness of xDeepInt over state-of-the-art models. We open-source the TensorFlow implementation of xDeepInt: https://github.com/yanyachen/xDeepInt.
• Abstract（参考訳）: 機能インタラクションの学習は、大規模なCTR予測とレコメンデーションの成功の鍵である。 実際には、手作りの特徴工学は通常、徹底的な探索を必要とする。 機能工学における人間の努力のコストを下げるために、研究者は、エンドツーエンドの方法で機能相互作用を学ぶためのディープニューラルネットワーク(DNN)ベースのアプローチをいくつか提案する。 しかし、既存の手法はベクトル的相互作用とビット的相互作用を同時に学習しないか、制御可能な方法でそれらを組み合わせない。 本稿では,多項式相互作用ネットワーク (PIN) と呼ばれる新しいネットワークアーキテクチャをベースとして,高次ベクトル的相互作用を逐次学習する新しいモデル xDeepInt を提案する。 部分空間交叉機構を統合することにより、xDeepIntはベクトル的およびビット的特徴相互作用の混合を有界順序でバランスさせることができる。 ネットワークアーキテクチャに基づいて、特徴選択と相互作用選択を行うための最適化戦略をカスタマイズする。 提案モデルを実装し,実世界の3つのデータセット上でモデル性能を評価する。 実験結果は,最先端モデルに対するxdeepintの有効性と有効性を示す。 私たちはxDeepIntのTensorFlow実装をオープンソースにしています。

関連論文リスト

• NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
  NNsightとNDIFを導入し、非常に大きなニューラルネットワークによって学習された表現と計算の科学的研究を可能にする。
  論文  参考訳（メタデータ） (2024-07-18T17:59:01Z)
• Multilinear Operator Networks [60.7432588386185]
  ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:52:19Z)
• AdaEnsemble: Learning Adaptively Sparse Structured Ensemble Network for Click-Through Rate Prediction [0.0]
  AdaEnsemble: 異種機能相互作用の専門家の強みを生かしたスパース・ゲート・ミックス・オブ・エキスパートアーキテクチャを提案する。 AdaEnsembleは、機能相互作用の深さを適応的に選択し、対応するSparseMoEスタック層を見つけて、予測を終了し、計算することができる。 提案したAdaEnsembleを実装し,実世界のデータセット上での性能を評価する。
  論文  参考訳（メタデータ） (2023-01-06T12:08:15Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection [10.191597755296163]
  我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。 提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
  論文  参考訳（メタデータ） (2022-09-19T19:57:17Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Enhanced DeepONet for Modeling Partial Differential Operators Considering Multiple Input Functions [5.819397109258169]
  偏微分方程式(PDE)に対する一般非線形連続作用素をモデル化するディープネットワーク演算子(DeepONet)が提案された。 既存のDeepONetは1つの入力関数しか受け付けないため、アプリケーションに制限がある。 本稿では、2つの入力関数を2つの分枝サブネットワークで表現する拡張DeepONetまたはEDeepONet高レベルニューラルネットワーク構造を提案する。 2つの偏微分方程式の例をモデル化した結果、提案した拡張DeepONetは約7X-17Xであり、完全に連結されたニューラルネットワークよりも約1桁精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-02-17T23:58:23Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
  本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。 中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。 i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
  論文  参考訳（メタデータ） (2020-10-11T01:40:03Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Deep Learning with Functional Inputs [0.0]
  本稿では,機能データをフィードフォワードニューラルネットワークに統合する手法を提案する。 この手法の副産物は、最適化プロセス中に可視化できる動的な機能的重みの集合である。 このモデルは、新しいデータの予測や真の機能的重みの回復など、多くの文脈でうまく機能することが示されている。
  論文  参考訳（メタデータ） (2020-06-17T01:23:00Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。