論文の概要: Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time Attention

• arxiv url: http://arxiv.org/abs/2608.19171v1
• Date: Wed, 19 Aug 2026 17:50:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.483871
• Title: Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time Attention
• Title（参考訳）: Lévy Attention: 継続的アテンションのための単一パス予測の不確実性
• Abstract要約: レヴィ・アテンション(英: Lévy Attention)は、不均質なランダム測度に対して出力が積分的なクロスアテンション作用素である。 t-PatchGNNオペレーターは、一致した制御に対してコストを5.6%の精度でスワップする。 1回のパスでは3,383人の未確認患者が1.4秒で信頼されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep models for irregularly-sampled time series answer queries at arbitrary continuous timestamps, yet report nothing about how far each answer should be trusted. We show the attention layer itself can close that gap: with the right stochastic formulation, the pass that makes each prediction also reports, in closed form and at no extra cost, how far it should be trusted. We introduce Lévy Attention, a cross-attention operator whose output is a stochastic integral against an inhomogeneous Poisson random measure: query-key compatibilities assemble an intensity over a continuous (time x channel) index space, the measure scatters atoms under it, and the output averages an interpolated value field at those atoms. In expectation it reduces to a mollified cosine-kernel attention, so it replaces a softmax layer and trains with exact gradients. What softmax discards, the Poisson construction preserves in closed form: the evidence $Λ_q$ (total compatibility mass) and the disagreement $\mathrm{tr}\,Σ_V(q)$ (value spread). An exact variance identity makes their combination $\hatσ(q)=\sqrt{\mathrm{tr}\,Σ_V(q)\,\varphi(Λ_q)}$ the root-mean-square deviation of the sampled operator, emitted by the deterministic pass with no trained head. Empirically, disagreement carries the signal, while the evidence factor swings from uninformative on dense data to strongly informative on sparse. On t-PatchGNN the operator swap costs at most 5.6% accuracy against a matched control and nothing on the sparsest dataset. The free disagreement signal improves on 20-pass MC dropout across matched five-seed suites, and $\hatσ$ scales a calibrated Gaussian whose zero-sample CRPS beats a fifty-draw sampler; a split-conformal wrapper reaches nominal coverage at every level, and one pass ranks 3,383 unseen patients by trust in 1.4 seconds.
• Abstract（参考訳）: 不規則にサンプリングされた時系列応答クエリの詳細なモデルは、任意の連続タイムスタンプで実行されるが、各回答がどの程度信頼されるべきかは報告されていない。 適切な確率的定式化によって、各予測をクローズドな形で、そして余分なコストで報告するパスが、どれだけ信頼されるべきかを示す。 我々は、不均一なポアソンランダム測度に対して出力が確率積分である相互注意作用素であるレヴィ・アテンション(英語版)を紹介し、クエリキーの適合性は連続(時xチャネル)インデックス空間上の強度を組み立て、その測度はその下に原子を散乱させ、出力はそれらの原子の補間値場を平均化する。 期待では、軟質のマックス層に取って代わり、正確な勾配で列車を走らせるため、軟質のコサイン・カーネルの注意を増す。 ソフトマックスが捨てたものは、ポアソンの構成は閉じた形式で保存される: 証拠は (total compatibility mass) であり、不一致は $\mathrm{tr}\,Σ_V(q)$ (value spread) である。 正確な分散恒等式は、それらの組み合わせを$\hatσ(q)=\sqrt{\mathrm{tr}\,Σ_V(q)\,\varphi(\_q)}$ 標本演算子の根平均二乗偏差を、訓練されたヘッドを持たない決定論的パスによって出力する。 実証的に、不一致は信号を運ぶが、証拠因子は密接なデータでは非情報的からスパースでは強い情報的へと揺れる。 t-PatchGNNでは、演算子スワップのコストは一致した制御に対して5.6%であり、最も広いデータセットにはない。 フリー・コンフォーマル・ラッパーは、マッチした5シードのスイートにまたがる20パスのMCドロップアウトを改善し、$\hatσ$は、ゼロサンプルのCRPSが50フローのサンプルラッパーを破り、スプリット・コンフォーマル・ラッパーは、すべてのレベルにおいて名目上のカバレッジに達し、1回のパスは、1.4秒で3,383人の未確認患者を信頼してランク付けする、キャリブレーション付きガウシアンをスケールする。

関連論文リスト

• How Wrong Can a Good Predictor Be? Diverging Updates with Vanishing Predictive KL [8.929322780616545]
  更新写像の間の非有界なギャップは、定常対称ガウス HMM において、固定有限$Kge2$ に対して消滅する予測的 KL と共存することができる。 この構成は$K$で固定されており、圧縮が無害である場合や内部のギャップがタスク損失を発生させる必要がある場合の普遍的な基準を提供していない。
  論文  参考訳（メタデータ） (2026-09-10T06:22:53Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
  投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。 本稿では,これが新しい制御ハンドルを生成することを認識している。
  論文  参考訳（メタデータ） (2026-08-14T18:00:08Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy [17.48959208263029]
  我々は,クリーンな後進平均を予測し,正確なカーネル依存線形写像を用いてスコアに変換するEmphmean-to-score (M2S)を導入する。 均一な汚職のために、確率的単純度をブリッジポリトープにマッピングし、吸収マスクの破損のためにMD4を正確に回収する。
  論文  参考訳（メタデータ） (2026-07-23T14:37:30Z)
• Solver-Hard Is Not Model-Hard: A Hardness-Controlled Diagnostic for LLM Constraint Reasoning [0.0]
  LLM制約推論器は、ランダム-SAT相転移、共起密度、ソルバ硬度付近でしばしば評価される。 証明ハード展開器と証明易解なラダー・ティチン公式,ハトホールアンカー,密度ミスマッチ制御を比較した。 3つのモデルのうち、ほぼ一致した密度の精度のギャップは、-32$から+20$ポイントまで様々である。
  論文  参考訳（メタデータ） (2026-07-19T03:23:22Z)
• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• Asymptotic-Preserving A Posteriori Analysis of Diffusion and Flow-Matching Samplers [0.6768558752130311]
  拡散及びフローマッチングサンプリングは、学習した確率フローODEを、大きなノイズスケールから小さな終端フロア($_min$)まで統合し、スコアが硬く、フローが境界層を発達させる。 特異摂動パラメータとして$_min$を扱い、どの固定ステップサンプリングが解けるかを決定する。
  論文  参考訳（メタデータ） (2026-07-05T04:48:33Z)
• High-Probability PL-SGD with Markovian Noise: Optimal Mixing and Tail Dependence [41.64418624570687]
  マルコフ連鎖によって試料が生成された場合,ポリアク・オジャシエヴィチ(PL)条件を満たす目的の1次法について検討した。 ライトテール設定では、標準成長エンベロープスケールの通常のグラディエントD(SGD)に対して、以前の均一時間高確率境界を$widetildeO(t_mix/k)$とする。 我々は、この混合時間に対する線形依存が、持続的2で駆動される二次目的物上の一致する$(2 t_mix/k)$下界によって最適であることを示す。
  論文  参考訳（メタデータ） (2026-06-24T19:00:56Z)
• A Closed-Form Persistence-Landmark Pipeline for Certified Point-Cloud and Graph Classification [0.0]
  PLACE(Persistence-Landmark Analytic Classification Engine)は、点雲とグラフを分類するためのクローズドフォームパイプラインである。 3つの量的保証 -- マージンベースの過剰リスク率、クローズドフォーム記述子選択ルール、プレディションごとの証明書 -- は、トレーニングラベルのみから導かれる。
  論文  参考訳（メタデータ） (2026-05-04T17:15:01Z)
• Adaptive Confidence Intervals in Efron's Gaussian Two-Groups Model [28.636700996382558]
  敵のノイズに満ちた性質により、Efronのガウス的二群分数モデルにおいて、ヌル位置パラメータ$$に対する信頼区間を研究する。 信頼区間の最小最適長を、未知の割合の汚染と全てのノイズに満ちた敵に対して、所定のカバレッジレベルで特徴付ける。
  論文  参考訳（メタデータ） (2026-04-28T22:40:54Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic Localization [40.808942894229325]
  データ次元において線形である第1収束境界を提供する。 拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
  論文  参考訳（メタデータ） (2023-08-07T16:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。