論文の概要: Consideration Circuits: Depth Separation and Universality Beyond a Single Softmax

• arxiv url: http://arxiv.org/abs/2610.04143v1
• Date: Fri, 02 Oct 2026 23:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.297702
• Title: Consideration Circuits: Depth Separation and Universality Beyond a Single Softmax
• Title（参考訳）: 考察回路:単一ソフトマックスを超える深さ分離と普遍性
• Abstract要約: 我々は,MNL単位の有向非巡回グラフによって定義される多段階選択の特徴に基づく回路(CC)を導入する。 実験では、600ドル未満のパラメータを持つスタンドアローンツリー回路が、評価されたモデルの中で最も低い平均テスト陰性ログ(NLL)を達成する。
• 参考スコア（独自算出の注目度）: 2.1771821757134915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most feature-based choice models, classical and deep, score items and apply a single softmax. We introduce consideration circuits (CC), feature-based models of multi-stage choice defined by directed acyclic graphs of multinomial logit (MNL) units. Source units assign probabilities to menu items, and internal units combine predecessor distributions using MNL weights computed from their probability-weighted feature summaries. On a three-item compromise task with fixed non-collinear features, menu-independent random-utility models (RUM), including a single MNL unit, suffer an error bounded away from zero. For CC, in contrast, we establish a sharp depth--norm separation: increasing depth from $2$ to $3$ reduces the optimal maximum taste-vector norm for error $ε$ from $Θ(\log(1/ε)/ε)$ to $Θ(\log(1/ε))$. The depth-$2$ lower bound holds for arbitrary width and menu-independent routing biases, while a five-node depth-$3$ circuit with zero routing biases attains the logarithmic rate. More generally, we characterize two geometric conditions that are necessary and sufficient for approximating arbitrary deterministic choice tables on finite menu families. Under these conditions, depth $3$ suffices, while depth $4$ achieves optimal logarithmic norm scaling whenever the family contains a non-singleton menu. In experiments, standalone tree circuits with fewer than $600$ parameters attain the lowest mean test negative log-likelihood (NLL) among the evaluated models on four fixed-pool benchmarks and the Expedia temporal split. As output heads, CC generalize the linear MNL readout and lower mean test NLL for every tested encoder on Expedia and Trivago.
• Abstract（参考訳）: ほとんどの機能ベースの選択モデル、古典的およびディープなスコアアイテムは、単一のソフトマックスを適用します。 我々は,MNL単位の有向非巡回グラフによって定義される多段階選択の特徴に基づく回路(CC)を導入する。 ソースユニットは、メニューアイテムに確率を割り当て、内部ユニットは、確率重み付き特徴要約から計算されたMNL重みを使って、以前の分布を結合する。 メニュー非依存のランダムユーティリティモデル(RUM)では、MNLユニットを1つ含む3項目の妥協タスクがゼロから切り離されたエラーを被る。 一方、CCでは、深さを2ドルから3ドルに増やすことで、エラーの最大味-ベクトルノルムが$ε$から$ε(\log(1/ε)/ε)$から$\(\log(1/ε))$に減少する。 深さ$2$の下位境界は任意の幅とメニュー非依存のルーティングバイアスを持ち、5ノードの深さ$3$のルーティングバイアスは対数レートに達する。 より一般に、有限メニューファミリー上の任意の決定論的選択テーブルを近似するのに必要で十分である2つの幾何学的条件を特徴づける。 これらの条件下では、深さが3ドル、深さが4ドルであり、家族に非シングルトンメニューがある場合、最適な対数正規スケーリングが達成される。 実験では、600ドル未満のパラメータを持つスタンドアローンツリー回路は、4つの固定プールベンチマークとExpediaの時間分割で評価されたモデルの中で、最も低い平均テストの負の対数類似度(NLL)が得られる。 出力ヘッドとして、CCは、Expedia および Trivago 上のテストエンコーダ毎の線形 MNL 読み出しと低平均テスト NLL を一般化する。

関連論文リスト

• SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
  凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。 本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。 各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
  論文  参考訳（メタデータ） (2026-09-29T09:38:29Z)
• Scalable Minimum-Volume Simplex Estimation with Non-asymptotic Analysis [3.008906408145323]
  既存の推定器は、サンプルごとの立方体処理か、または$O(NK)$ストレージを必要とする。 DeepMVSAは神経暗黙の形で最小限の原理を再表現する。 最大$N=108$の合成観測実験は、予測された精度とスケーリングと一致している。
  論文  参考訳（メタデータ） (2026-09-22T02:13:14Z)
• Scaling-Score Conformal Prediction for Multi-Target Regression [0.42970700836450476]
  マルチターゲット回帰は、複数の関連する出力を同時に予測するモデルを必要とする。 モデルに依存しないスケーリングスコアコンフォメーション法(コンポーネント単位の絶対残差のみを要求する)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T12:23:57Z)
• A Closed-Form Formula for Consistent Lipschitz Regression on Metric Spaces with Sparse Neural Network Realizations [10.292476979020522]
  未知のリプシッツ関数を再構成するための単純な閉形式2段式 $hatf$ を導入する。 我々の主な成果は、近似と統計的誤差を共同制御する高確率(Linfty$)回復保証である。
  論文  参考訳（メタデータ） (2026-09-02T20:10:29Z)
• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。