論文の概要: ARM-Net: Adaptive Relation Modeling Network for Structured Data

• arxiv url: http://arxiv.org/abs/2107.01830v1
• Date: Mon, 5 Jul 2021 07:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:17:24.584297
• Title: ARM-Net: Adaptive Relation Modeling Network for Structured Data
• Title（参考訳）: ARM-Net:構造化データの適応関係モデリングネットワーク
• Authors: Shaofeng Cai, Kaiping Zheng, Gang Chen, H. V. Jagadish, Beng Chin Ooi, Meihui Zhang
• Abstract要約: ARM-Netは、構造化データに適した適応関係モデリングネットワークであり、リレーショナルデータのためのARM-Netに基づく軽量フレームワークARMORである。 ARM-Netは既存のモデルより一貫して優れており、データセットに対してより解釈可能な予測を提供する。
• 参考スコア（独自算出の注目度）: 29.94433633729326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relational databases are the de facto standard for storing and querying structured data, and extracting insights from structured data requires advanced analytics. Deep neural networks (DNNs) have achieved super-human prediction performance in particular data types, e.g., images. However, existing DNNs may not produce meaningful results when applied to structured data. The reason is that there are correlations and dependencies across combinations of attribute values in a table, and these do not follow simple additive patterns that can be easily mimicked by a DNN. The number of possible such cross features is combinatorial, making them computationally prohibitive to model. Furthermore, the deployment of learning models in real-world applications has also highlighted the need for interpretability, especially for high-stakes applications, which remains another issue of concern to DNNs. In this paper, we present ARM-Net, an adaptive relation modeling network tailored for structured data, and a lightweight framework ARMOR based on ARM-Net for relational data analytics. The key idea is to model feature interactions with cross features selectively and dynamically, by first transforming the input features into exponential space, and then determining the interaction order and interaction weights adaptively for each cross feature. We propose a novel sparse attention mechanism to dynamically generate the interaction weights given the input tuple, so that we can explicitly model cross features of arbitrary orders with noisy features filtered selectively. Then during model inference, ARM-Net can specify the cross features being used for each prediction for higher accuracy and better interpretability. Our extensive experiments on real-world datasets demonstrate that ARM-Net consistently outperforms existing models and provides more interpretable predictions for data-driven decision making.
• Abstract（参考訳）: リレーショナルデータベースは構造化データの保存とクエリのデファクトスタンダードであり、構造化データから洞察を抽出するには高度な分析が必要である。 ディープニューラルネットワーク(DNN)は、画像などの特定のデータ型において、超人的な予測性能を達成した。 しかし、既存のDNNは構造化データに適用しても有意義な結果を出さない可能性がある。 理由は、テーブルには属性値の組み合わせに相関と依存関係があるため、これらはDNNで簡単に模倣できる単純な追加パターンに従わないからです。 そのようなクロスフィーチャの数は組合せ的であり、計算的にモデル化を禁止している。 さらに、現実世界のアプリケーションへの学習モデルのデプロイは、特に高スループットアプリケーションにおいて、解釈可能性の必要性を強調している。 本稿では、構造化データに適した適応関係モデリングネットワークARM-Netと、リレーショナルデータ分析のためのARM-Netに基づく軽量フレームワークARMORを提案する。 重要なアイデアは、まず入力された特徴を指数空間に変換し、次に各特徴に対して適応的に相互作用の順序と相互作用の重み付けを決定することで、交叉特徴との相互作用を選択的かつ動的にモデル化することである。 入力タプルに与えられた相互作用重みを動的に生成し,雑音のある特徴を選択的にフィルタすることで任意の順序の交叉特徴を明示的にモデル化する,新しいスパースアテンション機構を提案する。 次に、モデル推論の間、ARM-Netは、より高い精度とより良い解釈可能性のために各予測に使用されるクロス機能を指定することができる。 実世界のデータセットに関する広範な実験は、ARM-Netが既存のモデルより一貫して優れており、データ駆動意思決定のためのより解釈可能な予測を提供することを示している。

関連論文リスト

• Can EEG resting state data benefit data-driven approaches for motor-imagery decoding? [4.870701423888026]
  本稿では,デコードモデルの一般化を促進するための特徴結合手法を提案する。 我々は、EEG信号分類のための標準的な畳み込みニューラルネットワークであるEEGNetモデルと、静止状態のEEGデータから導かれる機能的接続手段を組み合わせる。 ユーザ内のシナリオに対する平均精度の改善が観察されているが、ランダムなデータ結合と比較して、ユーザ間のシナリオ間の結合はメリットがない。
  論文  参考訳（メタデータ） (2024-10-28T07:18:32Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Interpretable Additive Recurrent Neural Networks For Multivariate Clinical Time Series [4.125698836261585]
  本稿では,モデル内の変数間の関係を加法的に強制することで,モデルの複雑性と精度のバランスをとるInterpretable-RNN(I-RNN)を提案する。 I-RNNは、時間内に不均一にサンプリングされ、非同期に取得され、データが欠落している臨床時系列の特徴を特に捉えている。 本研究は,院内死亡率予測のためのPhysoronet 2012 ChallengeデータセットのI-RNNモデルと,集中治療室における血行動態の介入を予測するリアルな臨床診断支援タスクについて評価する。
  論文  参考訳（メタデータ） (2021-09-15T22:30:19Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Better Feature Integration for Named Entity Recognition [30.676768644145]
  両タイプの機能をSynergized-LSTM(Syn-LSTM)に組み込むためのシンプルで堅牢なソリューションを提案する。 その結果、提案モデルが従来のアプローチよりも優れたパフォーマンスを実現し、パラメータを少なくできることが示された。
  論文  参考訳（メタデータ） (2021-04-12T09:55:06Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Feature Interaction based Neural Network for Click-Through Rate Prediction [5.095988654970358]
  本稿では,3次元関係テンソルを用いて特徴相互作用をモデル化可能な特徴相互作用ベースニューラルネットワーク(FINN)を提案する。 我々のディープFINNモデルは、PNNやDeepFMのような最先端のディープモデルよりも優れていることを示す。 また、我々のモデルは、機能相互作用を効果的に学習し、実世界のデータセットでより良いパフォーマンスを達成することができることを示している。
  論文  参考訳（メタデータ） (2020-06-07T03:53:24Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。