Fugu-MT 論文翻訳(概要): Dynamical Kernel Attention: Estimating the Present from a Record of the Past

論文の概要: Dynamical Kernel Attention: Estimating the Present from a Record of the Past

arxiv url: http://arxiv.org/abs/2610.24026v1
Date: Fri, 16 Oct 2026 04:26:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-26 11:34:15.449951
Title: Dynamical Kernel Attention: Estimating the Present from a Record of the Past
Title（参考訳）: 動的カーネル注意:過去の記録から現在を推定する
Abstract要約: 本稿では,動的に進化する潜伏状態のロバストな推定から注目を集める動的カーネル注意(DKA)を紹介する。相対バイアスとは異なり、DKAは関連する証拠が弱く、古いトークンが破棄された場合に境界誤差を保証できる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Standard self-attention compares tokens by similarity but does not account for how much of a past state survives to the present. We introduce Dynamical Kernel Attention (DKA), which derives attention from robust estimation of a latent state evolving under stochastic dynamics. As a past state decays toward equilibrium under the dynamics, the information it carries about the present vanishes, bounding the total evidence a head can draw. Unlike recency biases, DKA can abstain when relevant evidence is weak and guarantees a bounded error when old tokens are discarded. DKA preserves the parallel structure and computational cost of standard attention. We present the model and its theory; empirical evaluation is deferred to a subsequent version.
Abstract（参考訳）: 標準的な自己注意はトークンを類似性で比較するが、過去の状態のどれだけが現在まで残っているかは説明できない。確率力学の下で進化する潜伏状態のロバストな推定から注意を引いた動的カーネル注意(DKA)を導入する。過去の状態が力学の下で平衡に向かって崩壊すると、現在の状態に関する情報は消え、頭が引き出すことができる全ての証拠の境界となる。相対バイアスとは異なり、DKAは関連する証拠が弱く、古いトークンが破棄された場合に境界誤差を保証できる。 DKAは標準注意の並列構造と計算コストを保存する。本稿では,そのモデルとその理論について述べる。

関連論文リスト

Identifiability of a dissipative knowledge-dynamics model: exact recovery under designed excitation, degeneration on observational data [0.0]
熟達は実践を通じて蓄積し、忘れることを通じて崩壊し、相互に依存する概念をまたいで伝播する。これらのパラメータが実際にデータから回収できるかどうかを調査する。モデルの定常構造にその効果を辿り、理論が期待する退化と一致していることを示す。
論文参考訳（メタデータ） (2026-10-07T11:50:29Z)
Detecting Deepfakes via Hamiltonian Dynamics [58.881686693914446]
本稿では,静的パターン認識から動的安定性解析へ移行するディープフェイク検出の新しい視点を提案する。私たちのアプローチは、物理学にインスパイアされた先駆者によって動機付けられています。 Hamiltonian Action Anomaly Detection (HAAD) は、最先端のベースラインの評価に優れる。
論文参考訳（メタデータ） (2026-05-06T01:55:38Z)
Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
論文参考訳（メタデータ） (2026-04-17T06:31:29Z)
Negative-Aware Diffusion Process for Temporal Knowledge Graph Extrapolation [16.301114199423044]
時間的知識グラフ(TKG)推論は、過去の証拠から将来の行方不明の事実を予測しようとするものである。 TKG外挿(NADEx)の負の認識拡散モデル NADExは、実体、関係、時間間隔の主題中心の履歴をシーケンシャルな埋め込みにエンコードする。
論文参考訳（メタデータ） (2026-02-09T15:50:56Z)
State Rank Dynamics in Linear Attention LLMs [37.607046806053035]
州の階級階層化は、線形アテンションヘッド間で異なるスペクトル分岐によって特徴づけられる。低ランクの頭部はモデル推論に欠かせないが、高ランクの頭部は顕著な冗長性を示す。我々は,KVキャッシュのオーバーヘッドを38.9%削減し,モデル精度を大きく維持するゼロショット戦略であるJoint Rank-Norm Pruningを提案する。
論文参考訳（メタデータ） (2026-02-02T15:00:42Z)
From Observations to States: Latent Time Series Forecasting [65.98504021691666]
本稿では,TSFを観測回帰から潜時予測に移行する新しいパラダイムであるLatent Time Series Forecasting(LatentTSF)を提案する。具体的には、LatentTSFはAutoEncoderを使用して、各段階での観測結果を高次元の潜在状態空間に投影する。提案する潜伏目標は,予測潜伏状態と地道状態と観測値との相互情報を暗黙的に最大化する。
論文参考訳（メタデータ） (2026-01-30T20:39:44Z)
Feature Dynamics as Implicit Data Augmentation: A Depth-Decomposed View on Deep Neural Network Generalization [18.72807692009739]
時間的一貫性は、目に見えないデータや破損したデータにまで拡張されるが、セマンティック構造が破壊されると崩壊する。これらの知見は、特徴力学と一般化をリンクする概念的な視点を示唆している。
論文参考訳（メタデータ） (2025-09-24T17:23:56Z)
Quantum Rabi oscillations in the semiclassical limit: backreaction on the cavity field and entanglement [89.99666725996975]
強い原子-磁場結合では、$pi $pulseの持続時間が100omega -1$以下である場合、原子励起確率の挙動は教科書から大きく逸脱する。この研究の残りの部分では、空洞上の量子ビットのバックリアクションと結果として生じる原子-磁場の絡み合いを数値的に研究する。
論文参考訳（メタデータ） (2025-04-12T23:24:59Z)
Selective Temporal Knowledge Graph Reasoning [70.11788354442218]
時間的知識グラフ(TKG)は、与えられた歴史的事実に基づいて将来の事実を予測することを目的としている。既存のTKG推論モデルは、不確実な予測を控えることができない。本稿では,既存のモデルが無差別な予測ではなく選択的に行うのに役立つ,TKG推論の棄却機構を提案する。
論文参考訳（メタデータ） (2024-04-02T06:56:21Z)
Dynamics of the Non-equilibrium spin Boson Model: A Benchmark of master equations and their validity [0.0]
非マルコフ的だが完全に正の進化を、過剰なドリュー・ローレンツスペクトル密度と任意の結合を持つスピン・ボソンモデルとして考える。有効であると考えられる弱い結合状態において、累積体はより良い記述であることが分かっています。
論文参考訳（メタデータ） (2024-03-07T13:43:34Z)
ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文参考訳（メタデータ） (2023-04-07T15:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。