論文の概要: Modeling Choice via Self-Attention
- arxiv url: http://arxiv.org/abs/2311.07607v1
- Date: Sat, 11 Nov 2023 11:13:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 17:13:10.611141
- Title: Modeling Choice via Self-Attention
- Title（参考訳）: セルフ・アテンションによるモデリング選択
- Authors: Joohwan Ko, Andrew A. Li
- Abstract要約: 注意に基づく選択モデルはHalo Multinomial Logitモデルの低ランクな一般化であることを示す。
提案するモデルは,短期データと長期データの両方において支配的であることがわかった。
- 参考スコア（独自算出の注目度）: 8.394221523847325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models of choice are a fundamental input to many now-canonical optimization
problems in the field of Operations Management, including assortment,
inventory, and price optimization. Naturally, accurate estimation of these
models from data is a critical step in the application of these optimization
problems in practice, and so it is perhaps surprising that such choice
estimation has to now been accomplished almost exclusively, both in theory and
in practice, (a) without the use of deep learning in any meaningful way, and
(b) via evaluation on limited data with constantly-changing metrics. This is in
stark contrast to the vast majority of similar learning applications, for which
the practice of machine learning suggests that (a) neural network-based models
are typically state-of-the-art, and (b) strict standardization on evaluation
procedures (datasets, metrics, etc.) is crucial. Thus motivated, we first
propose a choice model that is the first to successfully (both theoretically
and practically) leverage a modern neural network architectural concept
(self-attention). Theoretically, we show that our attention-based choice model
is a low-rank generalization of the Halo Multinomial Logit model, a recent
model that parsimoniously captures irrational choice effects and has seen
empirical success. We prove that whereas the Halo-MNL requires $\Omega(m^2)$
data samples to estimate, where $m$ is the number of products, our model
supports a natural nonconvex estimator (in particular, that which a standard
neural network implementation would apply) which admits a near-optimal
stationary point with $O(m)$ samples. We then establish the first
realistic-scale benchmark for choice estimation on real data and use this
benchmark to run the largest evaluation of existing choice models to date. We
find that the model we propose is dominant over both short-term and long-term
data periods.
- Abstract（参考訳）: 選択モデルは、ソート、インベントリ、価格最適化など、オペレーション管理の分野における現在カノニカルな多くの最適化問題に対する基本的なインプットである。
当然、データからこれらのモデルの正確な推定は、実際、これらの最適化問題の適用において重要なステップであり、理論上、実際上、ほぼ排他的にこの選択が達成されなければならないことは、おそらく驚きである。
(a) 深い学習を有意義な方法で使わずに、
(b)常に変化する指標による限られたデータの評価による。
これは、機械学習の実践が示唆している、類似の学習アプリケーションの大部分とは対照的である。
(a)ニューラルネットワークベースのモデルは一般的に最先端であり、
(b)評価手順(データセット、メトリクス等)の厳格な標準化が不可欠である。
そこで,我々はまず,現代のニューラルネットワークアーキテクチャの概念(自己注意)を成功(理論的にも実用的にも)するための選択モデルを提案する。
理論的には、我々の注意に基づく選択モデルは、不合理な選択効果をパロニティに捉え、経験的成功を収めたHalo Multinomial Logitモデルの低ランクな一般化であることを示す。
我々はHalo-MNLが推定に$\Omega(m^2)$のデータサンプルを必要とするのに対し、$m$は製品数である。
次に、実データに対する選択推定のための最初の現実的なベンチマークを確立し、このベンチマークを使用して、現在までの既存の選択モデルの最大評価を実行します。
短期データと長期データの両方において,提案モデルが支配的であることがわかった。
関連論文リスト
- Rethinking Bradley-Terry Models in Preference-Based Reward Modeling: Foundations, Theory, and Alternatives [14.401557416713315]
報奨モデルにおけるBradley-Terryモデル(BT)モデルの使用の基礎を再考する。
我々は,下流最適化の観点から,BTモデルが必須選択ではないことを論じる。
既成のバイナリ分類器と互換性のある,単純で簡単な上行法を提案する。
論文 参考訳（メタデータ） (2024-11-07T18:57:03Z) - Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。
我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
論文 参考訳（メタデータ） (2024-05-30T03:57:29Z) - A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-05-30T10:07:17Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。
我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
論文 参考訳（メタデータ） (2021-03-26T11:32:27Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳（メタデータ） (2020-12-24T16:08:29Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳（メタデータ） (2020-10-27T17:54:12Z) - Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization
without Compounding Errors [10.906666680425754]
我々は、最大エントロピーモデルロールアウト(MEMR)と呼ばれるダイナスタイルモデルに基づく強化学習アルゴリズムを提案する。
複雑なエラーをなくすために、我々はモデルを使って単一ステップのロールアウトを生成する。
論文 参考訳（メタデータ） (2020-06-08T21:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。