論文の概要: Combining Discrete Choice Models and Neural Networks through Embeddings:
Formulation, Interpretability and Performance
- arxiv url: http://arxiv.org/abs/2109.12042v1
- Date: Fri, 24 Sep 2021 15:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-27 14:18:52.064540
- Title: Combining Discrete Choice Models and Neural Networks through Embeddings:
Formulation, Interpretability and Performance
- Title（参考訳）: 埋め込みによる離散選択モデルとニューラルネットワークの組み合わせ:定式化,解釈可能性,性能
- Authors: Ioanna Arkoudi, Carlos Lima Azevedo, Francisco C. Pereira
- Abstract要約: 本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。
特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。
我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
- 参考スコア（独自算出の注目度）: 10.57079240576682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study proposes a novel approach that combines theory and data-driven
choice models using Artificial Neural Networks (ANNs). In particular, we use
continuous vector representations, called embeddings, for encoding categorical
or discrete explanatory variables with a special focus on interpretability and
model transparency. Although embedding representations within the logit
framework have been conceptualized by Camara (2019), their dimensions do not
have an absolute definitive meaning, hence offering limited behavioral
insights. The novelty of our work lies in enforcing interpretability to the
embedding vectors by formally associating each of their dimensions to a choice
alternative. Thus, our approach brings benefits much beyond a simple
parsimonious representation improvement over dummy encoding, as it provides
behaviorally meaningful outputs that can be used in travel demand analysis and
policy decisions. Additionally, in contrast to previously suggested ANN-based
Discrete Choice Models (DCMs) that either sacrifice interpretability for
performance or are only partially interpretable, our models preserve
interpretability of the utility coefficients for all the input variables
despite being based on ANN principles. The proposed models were tested on two
real world datasets and evaluated against benchmark and baseline models that
use dummy-encoding. The results of the experiments indicate that our models
deliver state-of-the-art predictive performance, outperforming existing
ANN-based models while drastically reducing the number of required network
parameters.
- Abstract（参考訳）: 本研究では,ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しい手法を提案する。
特に、埋め込みと呼ばれる連続ベクトル表現を用いて分類的または離散的説明変数を符号化し、解釈可能性とモデルの透明性に特に焦点をあてる。
logitフレームワークに埋め込まれた表現は、camara (2019) によって概念化されているが、それらの次元は絶対的な決定的な意味を持たないため、行動的洞察は限られている。
私たちの研究の新規性は、それぞれの次元を選択の選択肢に正式に関連付けることによって、埋め込みベクトルへの解釈可能性を高めることである。
したがって,本手法は,旅行需要分析や政策決定に使用可能な行動に有意義なアウトプットを提供するため,ダミー符号化よりも単純な類似表現の改善以上のメリットをもたらす。
さらに、ANNベースの離散選択モデル(DCM)では、性能の解釈可能性を犠牲にするか、部分的にのみ解釈可能であるのに対し、我々のモデルは、ANNの原理に基づくにもかかわらず、全ての入力変数に対する有効係数の解釈可能性を保持する。
提案するモデルは2つの実世界のデータセット上でテストされ、ダミーエンコーディングを使用するベンチマークモデルとベースラインモデルに対して評価された。
実験の結果,我々のモデルが最先端の予測性能を提供し,ネットワークパラメータ数を劇的に削減しつつ,既存のanベースのモデルよりも優れていることがわかった。
関連論文リスト
- Interpret the Internal States of Recommendation Model with Sparse Autoencoder [26.021277330699963]
RecSAEは、レコメンデーションモデルの内部状態を解釈するための、自動で一般化可能な探索手法である。
我々は、推薦モデルの内部アクティベーションを再構築するために、疎度制約付きオートエンコーダを訓練する。
我々は、潜在活性化と入力項目列の関係に基づき、概念辞書の構築を自動化した。
論文 参考訳（メタデータ） (2024-11-09T08:22:31Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳（メタデータ） (2023-10-23T04:35:58Z) - Discrete-Choice Model with Generalized Additive Utility Network [0.0]
線形ユーティリティ関数を持つマルチノードロジットモデル (MNL) は, 使いやすく, 解釈しやすいため, 実際に用いられている。
一般化加法モデルに基づくニューラルネットアーキテクチャを用いたユーティリティ関数を開発した。
我々のモデルは精度はASU-DNNに匹敵し,従来のモデルと比較して解釈性が向上した。
論文 参考訳（メタデータ） (2023-09-29T04:40:01Z) - ProtoVAE: Prototypical Networks for Unsupervised Disentanglement [1.6114012813668934]
本稿では,自己スーパービジョンを用いて学習した深層学習型プロトタイプネットワークを活用する,新しい深部生成型VAEモデルProtoVAEを提案する。
我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。
提案手法をベンチマークdSprites, 3DShapes, MPI3Dディジアングルメントデータセット上で評価した。
論文 参考訳（メタデータ） (2023-05-16T01:29:26Z) - Neural Additive Models for Location Scale and Shape: A Framework for
Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。
この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。
この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
論文 参考訳（メタデータ） (2023-01-27T17:06:13Z) - Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。
このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
論文 参考訳（メタデータ） (2022-02-07T11:19:23Z) - It's FLAN time! Summing feature-wise latent representations for
interpretability [0.0]
FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。
FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。
これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
論文 参考訳（メタデータ） (2021-06-18T12:19:33Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳（メタデータ） (2021-01-18T08:37:13Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳（メタデータ） (2020-10-18T16:55:25Z) - Interpreting Graph Neural Networks for NLP With Differentiable Edge
Masking [63.49779304362376]
グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。
本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。
モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
論文 参考訳（メタデータ） (2020-10-01T17:51:19Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳（メタデータ） (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。