論文の概要: Modeling Choice via Self-Attention
- arxiv url: http://arxiv.org/abs/2311.07607v2
- Date: Thu, 8 Feb 2024 09:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 19:00:45.670634
- Title: Modeling Choice via Self-Attention
- Title(参考訳): セルフ・アテンションによるモデリング選択
- Authors: Joohwan Ko, Andrew A. Li
- Abstract要約: 注意に基づく選択モデルはHalo Multinomial Logit(Halo-MNL)モデルの低最適一般化であることを示す。
また、実データから選択を推定するための最初の現実的な尺度を確立し、既存のモデルの評価を行う。
- 参考スコア(独自算出の注目度): 8.394221523847325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models of choice are a fundamental input to many now-canonical optimization
problems in the field of Operations Management, including assortment,
inventory, and price optimization. Naturally, accurate estimation of these
models from data is a critical step in the application of these optimization
problems in practice. Concurrently, recent advancements in deep learning have
sparked interest in integrating these techniques into choice modeling. However,
there is a noticeable research gap at the intersection of deep learning and
choice modeling, particularly with both theoretical and empirical foundations.
Thus motivated, we first propose a choice model that is the first to
successfully (both theoretically and practically) leverage a modern neural
network architectural concept (self-attention). Theoretically, we show that our
attention-based choice model is a low-rank generalization of the Halo
Multinomial Logit (Halo-MNL) model. We prove that whereas the Halo-MNL requires
$\Omega(m^2)$ data samples to estimate, where $m$ is the number of products,
our model supports a natural nonconvex estimator (in particular, that which a
standard neural network implementation would apply) which admits a near-optimal
stationary point with $O(m)$ samples. Additionally, we establish the first
realistic-scale benchmark for choice model estimation on real data, conducting
the most extensive evaluation of existing models to date, thereby highlighting
our model's superior performance.
- Abstract(参考訳): 選択モデルは、ソート、インベントリ、価格最適化など、オペレーション管理の分野における現在カノニカルな多くの最適化問題に対する基本的なインプットである。
当然、データからモデルを正確に推定することは、実際にこれらの最適化問題を適用する上で重要なステップである。
同時に、近年のディープラーニングの進歩は、これらのテクニックを選択モデリングに統合することへの関心を喚起している。
しかし、深層学習と選択モデリングの交差点には顕著な研究ギャップがあり、特に理論的、実証的な基礎がある。
そこで,我々はまず,現代のニューラルネットワークアーキテクチャの概念(自己注意)を成功(理論的にも実用的にも)するための選択モデルを提案する。
理論的には、我々の注意に基づく選択モデルはハロ・マルチノミアル・ロジット(Halo-MNL)モデルの低ランク一般化である。
我々はHalo-MNLが推定に$\Omega(m^2)$のデータサンプルを必要とするのに対し、$m$は製品数である。
さらに,実データ上で選択モデル推定を行うための最初の実規模ベンチマークを確立し,既存のモデルについてこれまでで最も広範な評価を行い,モデルの優れた性能を浮き彫りにする。
関連論文リスト
- Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-05-30T10:07:17Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z) - A Statistically-Based Approach to Feedforward Neural Network Model
Selection [0.0]
フィードフォワードニューラルネットワーク(FNN)は非線形回帰モデルと見なすことができる。
FNNのためのベイズ情報基準(BIC)を用いて,新しいモデル選択法を提案する。
サンプル外性能よりもBICを選択することは、真のモデルを回復する確率を増大させる。
論文 参考訳(メタデータ) (2022-07-09T11:07:04Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳(メタデータ) (2021-08-28T14:31:45Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。
我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
論文 参考訳(メタデータ) (2021-03-26T11:32:27Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳(メタデータ) (2020-12-24T16:08:29Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳(メタデータ) (2020-10-27T17:54:12Z) - VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven
Model Interpretability Applied to the Ironmaking Industry [70.10343492784465]
モデル予測だけでなく、その解釈可能性も、プロセスエンジニアに公開する必要があります。
LIMEに基づくモデルに依存しない局所的解釈可能性ソリューションが最近出現し、元の手法が改良された。
本稿では, 燃焼炉で生成する高温金属の温度を推定するデータ駆動型モデルの局所的解釈可能性に関する新しいアプローチ, VAE-LIMEを提案する。
論文 参考訳(メタデータ) (2020-07-15T07:07:07Z) - Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization
without Compounding Errors [10.906666680425754]
我々は、最大エントロピーモデルロールアウト(MEMR)と呼ばれるダイナスタイルモデルに基づく強化学習アルゴリズムを提案する。
複雑なエラーをなくすために、我々はモデルを使って単一ステップのロールアウトを生成する。
論文 参考訳(メタデータ) (2020-06-08T21:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。