論文の概要: Theory-based residual neural networks: A synergy of discrete choice models and deep neural networks

• arxiv url: http://arxiv.org/abs/2010.11644v1
• Date: Thu, 22 Oct 2020 12:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 08:10:46.980664
• Title: Theory-based residual neural networks: A synergy of discrete choice models and deep neural networks
• Title（参考訳）: 理論に基づく残留ニューラルネットワーク:離散選択モデルとディープニューラルネットワークの相乗効果
• Authors: Shenhao Wang, Baichuan Mo, Jinhua Zhao
• Abstract要約: 理論に基づく残留ニューラルネットワーク(TB-ResNet)フレームワークは、離散選択モデル(DCM)とディープニューラルネットワーク(DNN)を相乗化する TB-ResNetの3つのインスタンスは、MNL-ResNets(MNL-ResNets)、予測理論(PT-ResNets)、双曲割引(HD-ResNets)に基づいて設計されている。
• 参考スコア（独自算出の注目度）: 2.320417845168326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Researchers often treat data-driven and theory-driven models as two disparate or even conflicting methods in travel behavior analysis. However, the two methods are highly complementary because data-driven methods are more predictive but less interpretable and robust, while theory-driven methods are more interpretable and robust but less predictive. Using their complementary nature, this study designs a theory-based residual neural network (TB-ResNet) framework, which synergizes discrete choice models (DCMs) and deep neural networks (DNNs) based on their shared utility interpretation. The TB-ResNet framework is simple, as it uses a ($\delta$, 1-$\delta$) weighting to take advantage of DCMs' simplicity and DNNs' richness, and to prevent underfitting from the DCMs and overfitting from the DNNs. This framework is also flexible: three instances of TB-ResNets are designed based on multinomial logit model (MNL-ResNets), prospect theory (PT-ResNets), and hyperbolic discounting (HD-ResNets), which are tested on three data sets. Compared to pure DCMs, the TB-ResNets provide greater prediction accuracy and reveal a richer set of behavioral mechanisms owing to the utility function augmented by the DNN component in the TB-ResNets. Compared to pure DNNs, the TB-ResNets can modestly improve prediction and significantly improve interpretation and robustness, because the DCM component in the TB-ResNets stabilizes the utility functions and input gradients. Overall, this study demonstrates that it is both feasible and desirable to synergize DCMs and DNNs by combining their utility specifications under a TB-ResNet framework. Although some limitations remain, this TB-ResNet framework is an important first step to create mutual benefits between DCMs and DNNs for travel behavior modeling, with joint improvement in prediction, interpretation, and robustness.
• Abstract（参考訳）: 研究者はしばしば、データ駆動モデルと理論駆動モデルを、旅行行動分析において異なる2つの方法または矛盾する方法として扱う。 しかし、この2つの方法は、データ駆動方式の方がより予測可能ではないが、解釈可能で頑健であり、理論駆動方式はより解釈可能で堅牢であるが予測できないため、非常に補完的である。 本研究は、それらの相補的な性質を用いて、離散選択モデル(DCM)と深部ニューラルネットワーク(DNN)を共役する理論に基づく残留ニューラルネットワーク(TB-ResNet)フレームワークを設計する。 TB-ResNetフレームワークは、($\delta$, 1-$\delta$)重み付けを使用して、DCMの単純さとDNNの豊かさを活用し、DCMの過度な適合やDNNの過度な適合を防止する。 TB-ResNetの3つのインスタンスは、マルチノードロジットモデル(MNL-ResNets)、予測理論(PT-ResNets)、ハイパーボリックディスカウント(HD-ResNets)に基づいて設計され、3つのデータセットでテストされる。 純粋なDCMと比較して、TB-ResNetsは予測精度が向上し、TB-ResNetsのDNNコンポーネントによって強化されたユーティリティ関数により、よりリッチな動作機構が明らかにされる。 TB-ResNetsのDCMコンポーネントはユーティリティ関数と入力勾配を安定化するため、純粋なDNNと比較して、TB-ResNetsは予測を適度に改善し、解釈と堅牢性を大幅に改善することができる。 本研究は, TB-ResNet フレームワークを用いて, DCM と DNN を相乗化することは可能かつ望ましいものであることを示す。 いくつかの制限はあるが、このTB-ResNetフレームワークは、旅行行動モデリングのためのDCMとDNNの相互利益を生み出すための重要な第一歩である。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Jointly-Learned Exit and Inference for a Dynamic Neural Network : JEI-DNN [20.380620709345898]
  早期排他的動的ニューラルネットワーク(EDNN)は、中間層(即ち早期排他)からの予測の一部をモデルが行うことを可能にする。 EDNNアーキテクチャのトレーニングは、初期出力決定を制御するゲーティング機構(GM)と中間表現からの推論を実行する中間推論モジュール(IM)の2つのコンポーネントで構成されるため、難しい。 本稿では,これら2つのモジュールを接続する新しいアーキテクチャを提案する。これにより分類データセットの性能が大幅に向上し,不確実性評価機能の向上が期待できる。
  論文  参考訳（メタデータ） (2023-10-13T14:56:38Z)
• SPP-CNN: An Efficient Framework for Network Robustness Prediction [13.742495880357493]
  本稿では,空間ピラミッドプール畳み込みニューラルネットワーク(SPP-CNN)のネットワークロバスト性予測のための効率的なフレームワークを開発する。 新しいフレームワークは、畳み込み層と完全に接続された層の間に空間ピラミッドプーリング層を設置し、CNNベースの予測アプローチにおける一般的なミスマッチ問題を克服する。
  論文  参考訳（メタデータ） (2023-05-13T09:09:20Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• ARM-Net: Adaptive Relation Modeling Network for Structured Data [29.94433633729326]
  ARM-Netは、構造化データに適した適応関係モデリングネットワークであり、リレーショナルデータのためのARM-Netに基づく軽量フレームワークARMORである。 ARM-Netは既存のモデルより一貫して優れており、データセットに対してより解釈可能な予測を提供する。
  論文  参考訳（メタデータ） (2021-07-05T07:37:24Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Convolutional Neural Network Interpretability with General Pattern Theory [0.0]
  ディープニューラルネットワーク(DNN)の解釈性の向上には、説明可能な使用量の増加、アルゴリズムのメンテナンスの改善、改善など、実用的なメリットがある。 我々は、Ulf Grenanderによって定式化されたパターン理論を用いることを提案する。 U-Netのような構造はResNetに拡張ブロック(EB)をアタッチすることで形成され、セマンティックセグメンテーションのようなタスクを実行できる。
  論文  参考訳（メタデータ） (2021-02-05T07:11:48Z)
• FADNet: A Fast and Accurate Network for Disparity Estimation [18.05392578461659]
  本研究では,FADNetという分散度推定のための効率的かつ高精度なディープネットワークを提案する。 高速な計算を保存するために、2Dベースの効率的な相関層と積み重ねブロックを利用する。 精度を向上させるために、マルチスケールの重みスケジューリングトレーニング技術を活用するために、マルチスケールの予測を含んでいる。
  論文  参考訳（メタデータ） (2020-03-24T10:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。