論文の概要: Deep neural networks for choice analysis: Enhancing behavioral regularity with gradient regularization

• arxiv url: http://arxiv.org/abs/2404.14701v1
• Date: Tue, 23 Apr 2024 03:01:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 15:31:26.731531
• Title: Deep neural networks for choice analysis: Enhancing behavioral regularity with gradient regularization
• Title（参考訳）: 選択分析のためのディープニューラルネットワーク:勾配正規化による行動規則性の向上
• Authors: Siqi Feng, Rui Yao, Stephane Hess, Ricardo A. Daziano, Timothy Brathwaite, Joan Walker, Shenhao Wang,
• Abstract要約: 本研究では, 需要関数の単調性を評価するための新しい指標として, 強く, 弱い行動規則性を提案する。 提案手法は,シカゴとロンドンからの旅行調査データに適用し,予測力と行動規則性のトレードオフを検討する。
• 参考スコア（独自算出の注目度）: 9.07183008265166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) frequently present behaviorally irregular patterns, significantly limiting their practical potentials and theoretical validity in travel behavior modeling. This study proposes strong and weak behavioral regularities as novel metrics to evaluate the monotonicity of individual demand functions (a.k.a. law of demand), and further designs a constrained optimization framework with six gradient regularizers to enhance DNNs' behavioral regularity. The proposed framework is applied to travel survey data from Chicago and London to examine the trade-off between predictive power and behavioral regularity for large vs. small sample scenarios and in-domain vs. out-of-domain generalizations. The results demonstrate that, unlike models with strong behavioral foundations such as the multinomial logit, the benchmark DNNs cannot guarantee behavioral regularity. However, gradient regularization (GR) increases DNNs' behavioral regularity by around 6 percentage points (pp) while retaining their relatively high predictive power. In the small sample scenario, GR is more effective than in the large sample scenario, simultaneously improving behavioral regularity by about 20 pp and log-likelihood by around 1.7%. Comparing with the in-domain generalization of DNNs, GR works more effectively in out-of-domain generalization: it drastically improves the behavioral regularity of poorly performing benchmark DNNs by around 65 pp, indicating the criticality of behavioral regularization for enhancing model transferability and application in forecasting. Moreover, the proposed framework is applicable to other NN-based choice models such as TasteNets. Future studies could use behavioral regularity as a metric along with log-likelihood in evaluating travel demand models, and investigate other methods to further enhance behavioral regularity when adopting complex machine learning models.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、しばしば行動に不規則なパターンを示し、旅行行動モデリングにおける実践的可能性と理論的妥当性を著しく制限する。 本研究は、需要関数の単調性(すなわち需要の法則)を評価するための新しい指標として、強く弱い行動規則性を提案し、さらに6つの勾配正規化器を用いた制約付き最適化フレームワークを設計し、DNNの行動規則性を高める。 提案手法は, シカゴとロンドンからの旅行調査データに適用され, 大規模対小サンプルシナリオの予測力と行動規則性のトレードオフ, ドメイン内対ドメイン外一般化のトレードオフについて検討した。 その結果、マルチノードロジットのような強力な行動基盤を持つモデルとは異なり、ベンチマークDNNは行動規則性を保証することができないことが示された。 しかし、勾配正則化(GR)は、相対的に高い予測力を維持しながら、DNNの行動正則性を約6ポイント(pp)向上させる。 小サンプルのシナリオでは、GRは大きなサンプルのシナリオよりも有効であり、同時に約20pp、ログライクな振る舞いを約1.7%改善する。 DNNのドメイン内一般化と比較して、GRはドメイン外一般化においてより効果的に機能し、性能の悪いベンチマークDNNの行動規則性を約65 ppで劇的に改善し、モデル転送可能性の向上と予測における応用のための行動規則化の臨界性を示している。 さらに、提案フレームワークは、TasteNetsのような他のNNベースの選択モデルにも適用可能である。 将来の研究では、旅行需要モデルの評価において、ログライクな指標とともに行動規則性を使用して、複雑な機械学習モデルを採用する際の行動規則性をさらに向上する他の方法を検討することができる。

関連論文リスト

• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains [11.371889042789219]
  GateL0RDは、安定した、わずかに変化する潜伏状態を維持するために誘導バイアスを組み込んだ、新しいリカレントアーキテクチャである。 GateL0RDは、様々な部分観測可能な予測および制御タスクにおいて、最先端のRNNと競合したり、性能を向上することができることを実証する。
  論文  参考訳（メタデータ） (2021-10-29T17:50:44Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• Infinite attention: NNGP and NTK for deep attention networks [38.55012122588628]
  広範ニューラルネットワーク(NN)とガウス過程(GP)の等価性を同定する。 ガウス的でない振る舞いを誘発する単一ヘッドアテンションとは異なり、多ヘッドアテンションアーキテクチャは、ヘッドの数が無限大になる傾向があるため、GPとして振る舞う。 本稿では,NNGP/NTKモデルの可変長列に適用可能なニューラルタンジェンツライブラリの新機能を紹介する。
  論文  参考訳（メタデータ） (2020-06-18T13:57:01Z)
• Optimal Regularization Can Mitigate Double Descent [29.414119906479954]
  最適正則化を用いて二重発振現象を回避できるかどうかを検討した。 我々は、最適に調整された$ell$正規化が、ニューラルネットワークを含むより一般的なモデルの2重降下を可能にすることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-03-04T05:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。