論文の概要: Training Autoregressive Language Models on Rounded, Bounded, and Censored Numerical Labels via Exact Likelihood

• arxiv url: http://arxiv.org/abs/2611.02461v1
• Date: Mon, 02 Nov 2026 03:24:44 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:57:52.978541
• Title: Training Autoregressive Language Models on Rounded, Bounded, and Censored Numerical Labels via Exact Likelihood
• Title（参考訳）: 厳密な類似性を利用したラウンドドラベル・バウンドラベル・補償ラベルを用いた自己回帰言語モデルの訓練
• Abstract要約: 本稿では,そのような観測の正確な可能性に基づいて自己回帰言語モデルを訓練する最初の手法である境界偏差化を導入する。 固定幅、順序保存された数字表現群は、共有桁プレフィックスの下で連続するグリッド値である。 結果として得られた目的は、正確に、丸く、区切られ、検閲された監督を統一し、それぞれの観察によって提供された決議でディジットの決定を訓練する。
• 参考スコア（独自算出の注目度）: 21.123171397569838
• License:
• Abstract: Numerical labels often specify a set of possible values: a measurement is rounded, a laboratory test reports only a bound, or a program is stopped at a timeout. We introduce boundary marginalization, the first method that trains an autoregressive language model on the exact likelihood of such observations through its existing digit tokens. A fixed-width, order-preserving numeral representation groups consecutive grid values under shared digit prefixes. An interval is a union of such groups, so its exact probability and gradient follow from at most two boundary paths, the successive digit prefixes of its endpoints, each of length logarithmic in the number of grid values. The resulting objective unifies precise, rounded, bounded, and censored supervision and trains digit decisions at the resolution supplied by each observation. The same computation supports exact distributional queries and unbiased gradients for the continuous ranked probability score on exact labels. Experiments show recovery of a conditional distribution from rounded and censored reports alone, improved likelihood on naturally censored molecular measurements, and more accurate code latency distributions on two backbones. Exact interval updates remain tractable as the numerical support grows to one million values.
• Abstract（参考訳）: 数値ラベルは可能な値のセットをしばしば指定する: 測定は丸く、実験室のテストは境界のみを報告し、プログラムはタイムアウトで停止する。 本稿では, 自己回帰型言語モデルにおいて, 既存の桁トークンを介し, それらの観測の正確な可能性に基づいて, 境界辺化を訓練する最初の手法を提案する。 固定幅順序保存数表現群は、共有桁プレフィックスの下で連続するグリッド値である。 区間はそのような群の結合であり、その正確な確率と勾配は2つの境界経路、すなわち終点の連続した桁プレフィックスから導かれる。 結果として得られた目的は、正確に、丸く、区切られ、検閲された監督を統一し、それぞれの観察によって提供された決議でディジットの決定を訓練する。 同じ計算は、正確なラベルの連続的なランク付け確率スコアに対して、正確な分布クエリと偏りのない勾配をサポートする。 実験では、丸みを帯びたレポートと検閲されたレポートのみからの条件分布の回復、自然に検閲された分子測定の可能性の向上、および2つのバックボーン上のより正確なコード遅延分布が示されている。 数値的なサポートが100万に増加するにつれて、特別な間隔の更新は引き続きトラクタブルである。

関連論文リスト

• On the Fundamental Limits of Prefill-Based Decoding Length Prediction [4.653969386987927]
  現在のベンチマークでは、予測品質とタスクのハードネスが説明されています。 我々はこの不安定さを自己回帰的復号法の本質に遡る。 固定モデル、データ、サンプリング条件の下では、予測子の広い設計空間が同様の性能に収束する。
  論文  参考訳（メタデータ） (2026-10-29T17:36:01Z)
• Where Do Two Populations of Persistence Diagrams Differ? Calibrated Local Inference at a Fixed Budget [35.18016233072556]
  パーシステンス・ダイアグラムの集団に対する多くの2サンプル試験は、それらに寄与する生死面の領域を特定することなく、世界的差異を評価する。 利用可能な図の数が固定された場合の局所平均コントラストの同時推定について検討する。
  論文  参考訳（メタデータ） (2026-10-06T13:00:00Z)
• Exact and Certified Data Shapley for Weighted k-Nearest-Neighbor Regression and Soft-Label Prediction [0.0]
  厳密なアルゴリズムは、最寄りの分類と回帰のために存在する。 重み付き回帰とソフトラベル予測は正確な手法に抵抗している。 オープンソースでCPUのみのライブラリをリリースしています。
  論文  参考訳（メタデータ） (2026-07-12T04:38:38Z)
• DEL: Digit Entropy Loss for Numerical Learning of Large Language Models [63.37357414497361]
  数値予測は、数学的な問題解決とコード生成において、大きな言語モデル(LLM)の基本的な能力である。 自己回帰型数値学習のためのDEL(Digit Entropy Loss)を提案する。 我々の定式化は整数、十進点、十進点を組み込むことができ、学習対象を1桁から浮動小数点数領域に拡張することができる。
  論文  参考訳（メタデータ） (2026-05-19T18:18:59Z)
• Predicting integers from continuous parameters [0.08594140167290099]
  本稿では、整数や整数のサブレンジに制約された数値ラベルの予測問題について検討する。 例えば、ソーシャルメディア投稿のアップボイト数や、公共のレンタルステーションで利用できる自転車の数などです。 これらを連続的な値としてモデル化し、従来の回帰を適用することは可能だが、このアプローチはラベルの根底にある分布を離散的から連続的へと変化させる。
  論文  参考訳（メタデータ） (2026-02-11T11:30:48Z)
• Fast Regularized Discrete Optimal Transport with Group-Sparse Regularizers [27.021749335548307]
  本稿では,グループスパース正規化器を用いた高速離散最適輸送を提案する。 実験の結果,本手法は従来の手法よりも最大8.6倍高速であることがわかった。
  論文  参考訳（メタデータ） (2023-03-14T02:40:46Z)
• Unsupervised Full Constituency Parsing with Neighboring Distribution Divergence [48.69930912510414]
  本稿では,最近導入されたメトリクスの特性を利用して,教師なしかつトレーニング不要なラベル付け手法を提案する。 実装のために,NDD を Dual POS-NDD に実装し,文中の構成要素とそのラベルを検出する "モールド" を構築する。 DP-NDDは, 構成成分を正確にラベル付けするだけでなく, より単純なルールを持つ従来手法よりも, より正確なラベル付き選挙区木を誘導することを示す。
  論文  参考訳（メタデータ） (2021-10-29T17:27:34Z)
• Uniformity in Heterogeneity:Diving Deep into Count Interval Partition for Crowd Counting [56.44300325295678]
  一様誤差分割(UEP)と呼ばれる新しいカウント間隔分割基準を提案する。 MCP基準は、推論中にそのカウント値を表すために、各インターバルのベストカウントプロキシを選択する。 統一誤り分割ネットワーク(UEPNet)と呼ばれる単純で効果的なモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-27T06:24:15Z)
• Consensus-Guided Correspondence Denoising [67.35345850146393]
  本稿では,地域間コンセンサス学習フレームワークと対応関係を異色化し,対応関係をロバストに識別する。 ローカル地域からグローバル地域への動的グラフから推定されるコンセンサススコアに基づいて,信頼度の高い候補を初期マッチングから蒸留する新しい「プルーニング」ブロックを導入した。 本手法は、堅牢なラインフィッティング、ワイドベースライン画像マッチング、画像ローカリゼーションベンチマークを顕著なマージンで上回る。
  論文  参考訳（メタデータ） (2021-01-03T09:10:00Z)
• Constructing interval variables via faceted Rasch measurement and multitask deep learning: a hate speech application [63.10266319378212]
  本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。 われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
  論文  参考訳（メタデータ） (2020-09-22T02:15:05Z)
• Semi-Supervised Crowd Counting via Self-Training on Surrogate Tasks [50.78037828213118]
  本稿では,機能学習の観点から,半教師付き群集カウント問題に取り組む。 本稿では,2つの革新的なコンポーネント上に構築された,新しい半教師付き群集カウント手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T05:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。