論文の概要: Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context

• arxiv url: http://arxiv.org/abs/2604.20216v1
• Date: Wed, 22 Apr 2026 06:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.98517
• Title: Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context
• Title（参考訳）: 量子トークンと隣接コンテキストを用いたテキスト配信予測
• Authors: Yilun Zhu, Yuan Zhuang, Nikhita Vedula, Dushyanta Dhyani, Shaoyuan Xu, Moyan Li, Mohsen Bayati, Bryan Wang, Shervin Malmasi,
• Abstract要約: 本研究では,各入力を複数の観測された量子化結果とペアリングし,対象分布を高密度な量子化格子で表す経験的量子化監視の下で分布回帰について検討する。 これは、入力シーケンスに専用量子トークンを挿入する最初の作業であり、自己アテンションを通じて各量子に対して直接入出力経路を可能にする。
• 参考スコア（独自算出の注目度）: 29.26696177839968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many applications of LLM-based text regression require predicting a full conditional distribution rather than a single point value. We study distributional regression under empirical-quantile supervision, where each input is paired with multiple observed quantile outcomes, and the target distribution is represented by a dense grid of quantiles. We address two key limitations of current approaches: the lack of local grounding for distribution estimates, and the reliance on shared representations that create an indirect bottleneck between inputs and quantile outputs. In this paper, we introduce Quantile Token Regression, which, to our knowledge, is the first work to insert dedicated quantile tokens into the input sequence, enabling direct input-output pathways for each quantile through self-attention. We further augment these quantile tokens with retrieval, incorporating semantically similar neighbor instances and their empirical distributions to ground predictions with local evidence from similar instances. We also provide the first theoretical analysis of loss functions for quantile regression, clarifying which distributional objectives each optimizes. Experiments on the Inside Airbnb and StackSample benchmark datasets with LLMs ranging from 1.7B to 14B parameters show that quantile tokens with neighbors consistently outperform baselines (~4 points lower MAPE and 2x narrower prediction intervals), with especially large gains on smaller and more challenging datasets where quantile tokens produce substantially sharper and more accurate distributions.
• Abstract（参考訳）: LLMベースのテキスト回帰の多くの応用は、単一点値ではなく、完全な条件分布を予測する必要がある。 本研究では,各入力を複数の観測された量子化結果とペアリングし,対象分布を高密度な量子化格子で表す経験的量子化監視の下で分布回帰について検討する。 分布推定における局所的基底の欠如と、入力と量子出力の間接的ボトルネックを生み出す共有表現への依存という、現在のアプローチの2つの重要な制限に対処する。 本稿では,入力シーケンスに専用量子トークンを挿入する最初の試みであるQuantile Token Regressionを紹介する。 さらに、これらの量子トークンを検索により拡張し、類似した類似のインスタンスとその経験的分布を、類似のインスタンスからの局所的エビデンスによる地上予測に組み込む。 また、量子レグレッションの損失関数に関する最初の理論的解析を行い、各最適化の分布目標を明らかにした。 Inside AirbnbとStackSampleベンチマークデータセットの実験では、1.7Bから14Bパラメータの範囲で、近隣の量子トークンがベースラインを一貫して上回り(MAPEが約4ポイント低く、予測間隔が2倍)、特に量子トークンがよりシャープで正確な分布を生成できるような、より小さく、より困難なデータセットで大きく向上している。

関連論文リスト

• Evidence-based Distributional Alignment for Large Language Models [58.65469623911573]
  LLM分布推定の忠実度とロバスト性を改善する証拠に基づくアライメント手法であるEvi-DAを提案する。 対象国が与えられた場合、Evi-DAは関連するWorld Values Survey項目とその回答分布を検索し、オプション毎に粗いヴェルツェル値シグネチャを予測し、国条件の回答分布を構造化形式で推測する。
  論文  参考訳（メタデータ） (2026-03-03T03:34:06Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Multiple Hypothesis Dropout: Estimating the Parameters of Multi-Modal Output Distributions [22.431244647796582]
  本稿では,複数出力関数(Multiple-Output function, MoM)の解法について, 新たな解法であるMultiple hypothesis Dropoutを用いて提案する。 教師付き学習問題に対する実験は、我々の手法がマルチモーダルな出力分布を再構築するための既存のソリューションよりも優れていることを示している。 教師なし学習問題に関するさらなる研究は、離散オートエンコーダ内の潜在後続分布のパラメータを推定することで、コードブックの効率、サンプル品質、精度、リコールを大幅に改善することを示している。
  論文  参考訳（メタデータ） (2023-12-18T22:20:11Z)
• Auxiliary Quantile Forecasting with Linear Networks [6.155158115218501]
  共有線形層を用いた量子化予測のための新しいマルチタスク手法を提案する。 提案手法はImplicit Quantile Learningアプローチに基づく。 決定論的予測ベンチマークにおいて、学習補助量子化タスクが最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-05T20:09:32Z)
• Learning Quantile Functions without Quantile Crossing for Distribution-free Time Series Forecasting [12.269597033369557]
  本稿では,分散フリーな分布推定フレームワークであるIncrmental (Spline) Quantile Function I(S)QFを提案する。 また、シーケンス・ツー・シーケンス・セッティングに基づく提案手法の一般化誤差解析も提供する。
  論文  参考訳（メタデータ） (2021-11-12T06:54:48Z)
• Non-decreasing Quantile Function Network with Efficient Exploration for Distributional Reinforcement Learning [14.967168108174466]
  まず、得られた量子関数推定の単調性を保証するために、非減少量子関数ネットワーク(NDQFN)を提案する。 次に、量子関数全体の分布を利用する分布予測誤差(DPE)と呼ばれる一般的な探索フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-05-14T08:12:51Z)
• Regularization Strategies for Quantile Regression [8.232258589877942]
  連続的な量子の分布に対するピンボール損失を最小化することは、特定の量子の予測のみを行う場合でも良い正則化器であることを示す。 格子モデルにより予測された分布を位置スケールの族に正規化できることを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。