論文の概要: Optimal Allocation of Embedding Dimensions under Finite-Sample Constraints
- arxiv url: http://arxiv.org/abs/2608.24592v1
- Date: Tue, 25 Aug 2026 14:18:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.024072
- Title: Optimal Allocation of Embedding Dimensions under Finite-Sample Constraints
- Title（参考訳）: 有限サンプル制約下における埋め込み次元の最適配置
- Abstract要約: 本稿では,次元選択を制約付き割当問題として定式化する。
埋め込み能力は, 明示的な近似-推定トレードオフに従って, 異種カテゴリー予測器間で分配可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The embedding dimension of categorical predictors is usually selected through heuristic tuning, although it directly affects model complexity, approximation quality, and finite-sample generalization. This paper formulates embedding dimension selection as a constrained allocation problem. The main contribution is to show that embedding capacity can be allocated across heterogeneous categorical predictors according to an explicit approximation-estimation tradeoff. We characterize approximation error through the singular-value tail of the latent category representation, while estimation error increases with total embedding complexity. Under a fixed global embedding budget and a tractable approximation model, this leads to a closed-form allocation rule in which the dimension assigned to each predictor is proportional to the square root of its approximation value relative to its parameter cost. Simulation experiments support the proposed approximation-estimation interpretation and show that the allocation rule improves budget efficiency relative to standard uniform and cardinality-based heuristics, particularly when the budget is binding and predictor heterogeneity is substantial. A real-data healthcare application further shows improvements in predictive accuracy and probabilistic calibration. Overall, the results establish embedding-dimension allocation as a principled finite-sample optimization problem rather than a purely heuristic modeling choice.
- Abstract（参考訳）: カテゴリー予測器の埋め込み次元は通常ヒューリスティックなチューニングによって選択されるが、これはモデル複雑性、近似品質、有限サンプル一般化に直接影響する。
本稿では,次元選択を制約付き割当問題として定式化する。
主な貢献は、明示的な近似-推定トレードオフに従って、埋め込み能力が異種カテゴリー予測器に分散可能であることを示すことである。
我々は,潜在圏表現の特異値テールによる近似誤差を特徴づける一方で,総埋め込み複雑性によって推定誤差が増加する。
固定されたグローバル埋め込み予算とトラクタブル近似モデルの下では、各予測子に割り当てられた次元がそのパラメータコストに対して近似値の平方根に比例するクローズドフォーム割り当てルールが導かれる。
シミュレーション実験は, 提案した近似推定解釈をサポートし, 特に予算が束縛され, 予測の不均一性が大きい場合に, 標準均一性および基数に基づくヒューリスティックスに対して, 割当規則が予算効率を向上することを示す。
リアルタイム医療アプリケーションは、予測精度と確率的キャリブレーションの改善をさらに示す。
全体として、結果は純粋にヒューリスティックなモデリング選択ではなく、原則化された有限サンプル最適化問題として埋め込み次元割り当てを確立する。
関連論文リスト
- Generalized Score Matching for Parameter Estimation on Convex Domains [13.954816561132942]
一般化されたスコアマッチングの目的を$mathbbRd$の凸部分集合上で導出する。
非負のデータに対する古典的なスコアマッチングとドメイン適応型の変種が、提案フレームワーク内で自然に発生することを示す。
我々の導出は、様々な問題設定における一般化されたスコアマッチングのスコープと適用性に新たな光を当てる。
論文 参考訳（メタデータ） (2026-09-10T13:23:41Z) - The Regularization Parameter: Sparse Precision Matrix Estimation [1.3532832187980637]
スパース精度行列推定は、高次元、低サンプルサイズのデータにおける条件依存をモデル化するための効率的なフレームワークを提供する。
繰り返し発生する課題は、推定器の間隔を制御する正規化パラメータを適切に選択することである。
本稿では,一階最適条件のサンプリング分布から導出した閉形式行列値正規化パラメータを提案する。
論文 参考訳（メタデータ） (2026-07-07T13:19:19Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳（メタデータ） (2025-10-22T18:25:43Z) - Partial Transportability for Domain Generalization [56.37032680901525]
本稿では, 部分的同定と輸送可能性の理論に基づいて, 対象分布の関数値の有界化に関する新たな結果を紹介する。
我々の貢献は、輸送可能性問題に対する最初の一般的な評価手法を提供することである。
本稿では,スケーラブルな推論を実現するための勾配に基づく最適化手法を提案する。
論文 参考訳（メタデータ） (2025-03-30T22:06:37Z) - Minimum Volume Conformal Sets for Multivariate Regression [44.99833362998488]
等角予測は、有限サンプルの妥当性を持つ予測集合を構築するための原則化された枠組みを提供する。
本稿では,最小整合被覆集合を直接学習する新しい損失関数に基づく最適化駆動フレームワークを提案する。
提案手法は, 任意のノルム球によって定義された予測集合を最適化し, 単ノルムおよび多ノルムの定式化を含む。
論文 参考訳（メタデータ） (2025-03-24T18:54:22Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。
我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。
車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Integrated Conditional Estimation-Optimization [6.037383467521294]
確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。
不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。
当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
論文 参考訳（メタデータ） (2021-10-24T04:49:35Z) - Distributed Nonparametric Function Estimation: Optimal Rate of
Convergence and Cost of Adaptation [1.332560004325655]
通信制約下での分散ミニマックス推定と分散適応推定について検討した。
適応のための正確な通信コストを定量化し、分散推定のための最適な適応手順を構築する。
論文 参考訳（メタデータ） (2021-07-01T02:16:16Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。