論文の概要: Decoupling Is Not Identification: Supervised Evidential Learning in Next-Token Prediction

• arxiv url: http://arxiv.org/abs/2609.26268v1
• Date: Fri, 14 Aug 2026 01:28:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.949842
• Title: Decoupling Is Not Identification: Supervised Evidential Learning in Next-Token Prediction
• Title（参考訳）: デカップリングは識別できない - 次世代予測における証拠学習の促進
• Abstract要約: 次の表現確率は、モデルが予測するものであり、その背後にどれだけのトレーニングサポートがあるかではない。 キャラクタレベルのモビーディックにおいて,このギャップを監査するための証拠次世代予測フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.5571037918649155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A next-token probability says what a model predicts, not how much training support lies behind it. A Dirichlet head can represent this distinction by separating mean $m$ from concentration $S$, but decoupling does not identify what $S$ means. Here we propose an Evidential Next-Token Prediction (ENTOP) framework to audit this gap on character-level Moby-Dick, using exact 8-gram count as a reproducible lexical-support label and withholding count regression from 20% of context types. Standard implicit evidential training carries essentially no count signal beyond confidence on held-out-label types (partial Spearman $ρ= 0.001 \pm 0.014$), whereas explicit supervision generalizes ($ρ= 0.201 \pm 0.010$; matched-pair win $= 0.822 \pm 0.021$). CE predictive entropy is at chance for unseen 8-grams (AUROC $= 0.490 \pm 0.004$), while supervised vacuity reaches $0.772 \pm 0.003$, comparable with an indexed CE-representation baseline ($0.769$) but below the tautological corpus oracle ($1.000$). Neither longest-suffix nor representation-distance strata explain where amortization succeeds. Increasing count weight under the digamma objective improves support fit only by sacrificing prediction. A constant predictor wins natural log-RMSE, and vacuity does not improve error deferral. These results motivate a minimum evidence protocol---confidence control, matched pairs, held-out labels, a constant baseline, and a decision test---and show that concentration can pass identification while failing calibration and utility.
• Abstract（参考訳）: 次の確率は、モデルが予測するものであり、その背後にどれだけのトレーニングサポートがあるかではありません。 ディリクレヘッドは、平均$m$を濃度$S$から分離することでこの区別を表現できるが、デカップリングはS$の意味を特定できない。 本稿では,文字レベルのモビディックにおけるこのギャップを再現可能な語彙サポートラベルとして8-gramの正確なカウントを用いて評価し,文脈型の20%からカウントレグレッションを保ちながら,このギャップを評価できるEvidential Next-Token Prediction (ENTOP) フレームワークを提案する。 標準的な暗黙的な訓練では、保持されたラベルの型に対する信頼以上のカウント信号(Partial Spearman $ρ= 0.001 \pm 0.014$)は持たないが、明示的な監督は(ρ= 0.201 \pm 0.010$; matched-pair win $= 0.822 \pm 0.021$)一般化する。 CE予測エントロピーは目に見えない8グラム(AUROC $= 0.490 \pm 0.004$)の可能性があるが、教師付き空孔は0.772 \pm 0.003$に達する。 最長の接尾辞も表現距離の成層も、アモーティゼーションが成功する場所を説明できない。 ダイガンマ目標下でのカウント重量の増加は、予測を犠牲にしてのみサポート適合を改善する。 定数予測器は自然対数RMSEに勝利し、空き度はエラー遅延を改善しない。 これらの結果は, 信頼度制御, 一致ペア, ホールドアウトラベル, 定数ベースライン, 決定テストなど, 最小限のエビデンスプロトコルを動機付け, キャリブレーションと実用性を損なうことなく, 濃度が識別を通過可能であることを示す。

関連論文リスト

• Evidential Rule Learning for Interpretable Classification with Abstention [3.0509197593879853]
  Fast Evidential Rule Learning (FERL)は、アウトプットが明確である解釈可能な、正確なファジィルールモデルを学ぶ。 FERLの信念、妥当性、および棄権能力は、単一の決定論的パスにおけるファジィなメンバーシップから直接生じる。
  論文  参考訳（メタデータ） (2026-08-06T10:39:48Z)
• A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
  飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。 インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
  論文  参考訳（メタデータ） (2026-06-12T16:46:24Z)
• Semi-Supervised Hypothesis Testing by Betting on Predictions [17.34147279018477]
  本稿では、ラベルのないデータに対する予測を利用して、シーケンシャルな仮説テストのパワーを高めるテスト・バイ・ベッティング・フレームワークを提案する。 予測による推論を含むベースラインアプローチよりもパワーゲインを実証する。
  論文  参考訳（メタデータ） (2026-05-27T14:28:28Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions with "Spurious" Correlations [44.99833362998488]
  テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。 本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:52:33Z)
• CARD: Classification and Regression Diffusion Models [51.0421331214229]
  本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。 おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
  論文  参考訳（メタデータ） (2022-06-15T03:30:38Z)
• Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations [78.23408201652984]
  トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。 我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。 例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
  論文  参考訳（メタデータ） (2020-11-15T21:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。