論文の概要: Stochastic Attention via Langevin Dynamics on the Modern Hopfield Energy

• arxiv url: http://arxiv.org/abs/2603.06875v1
• Date: Fri, 06 Mar 2026 20:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:13.298071
• Title: Stochastic Attention via Langevin Dynamics on the Modern Hopfield Energy
• Title（参考訳）: 現代ホップフィールドエネルギーにおけるランゲヴィンダイナミクスによる確率的注意
• Abstract要約: 本研究では,Langevinの分布から採取したサンプルが,単温度で制御されたトレーニングフリーのサンプル装置であるEmphstochastic attentionを導出することを示す。 エネルギー勾配はアテンションマップと等しいため、スコアネットワーク、トレーニングループ、学習モデルを必要としない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention heads retrieve: given a query, they return a softmax-weighted average of stored values. We show that this computation is one step of gradient descent on a classical energy function, and that Langevin sampling from the corresponding distribution yields \emph{stochastic attention}: a training-free sampler controlled by a single temperature. Lowering the temperature gives exact retrieval; raising it gives open-ended generation. Because the energy gradient equals the attention map, no score network, training loop, or learned model is required. We validate on four domains (64 to 4,096 dimensions). At generation temperature, stochastic attention is 2.6 times more novel and 2.0 times more diverse than the best learned baseline (a variational autoencoder trained on the same patterns), while matching a Metropolis-corrected gold standard. A simple signal-to-noise rule selects the operating temperature for any dimension. The approach requires no architectural changes and extends naturally to retrieval-augmented generation and in-context learning.
• Abstract（参考訳）: アテンションヘッド検索:クエリが与えられたら、保存された値の平均をソフトマックスで重み付けした値を返す。 この計算は古典的エネルギー関数の勾配降下の1ステップであり、対応する分布からランゲヴィンをサンプリングすると、単一の温度で制御される訓練不要なサンプルラーである 'emph{stochastic attention} が得られることを示す。 温度を下げることによって正確な検索が可能になる。 エネルギー勾配はアテンションマップと等しいため、スコアネットワーク、トレーニングループ、学習モデルを必要としない。 4つの領域(64次元から4,096次元)で検証する。 世代別温度では、確率的注意力は最高の学習ベースライン(同じパターンで訓練された変分オートエンコーダ)の2.6倍の斬新さと2.0倍の多様性がある。 単純な信号対雑音規則は任意の次元の動作温度を選択する。 このアプローチはアーキテクチャの変更を必要とせず、自然に検索強化された生成とコンテキスト内学習に拡張する。

関連論文リスト

• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification [3.058685580689604]
  ハードラベル分類は通常、スムーズな代理損失、特にソフトマックスのクロスエントロピーで訓練される。 我々は、このスムーズなサロゲートと離散ラベルのミスマッチが、パワーローラー学習曲線を生成するメカニズムを分離する。 学習速度のスケジュールは、$_g sim -1/2$の電力法則に対する一般化誤差を改善することができることを示す。
  論文  参考訳（メタデータ） (2026-05-21T11:26:32Z)
• Scale-Equivariant Generative Forecasting: Weight-Tied Dilated Convolutions, Wavelet Scattering Inputs, and Spectral-Consistency Training for Self-Similar Time Series [0.0]
  1次元因果ネットワークの離散スケール等式を正確に定義する。 ダイアディック拡張は、カーネル重みがレベル間で共有されるような拡張畳み込みスタックで可換であることが証明される。 30年間のS&P 500日間のログリターンで、SE-WaveNetのサンプルは、Allan-Varianceトップ25宇宙上での経験的なスケール・崩壊の診断を再現した。
  論文  参考訳（メタデータ） (2026-05-17T18:21:30Z)
• Wavelet Variance Equipartition as a Threshold for World-Model Quality and Quantum Kernel TN-Simulability [0.0]
  我々はウェーブレットスケーリング指数$$を臨界診断として同定する。 振幅符号化された量子カーネルの古典的シミュラビリティのシャープな遷移境界として$=1/2$を確立する。 この分散は、厳密には$Var[X] = (d-2)$としてスケールする。
  論文  参考訳（メタデータ） (2026-05-12T05:41:12Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking [44.614763110719274]
  我々は、グルーキング現象、すなわち遅延一般化について研究する。 本稿では,2層非線形ネットワークのグルーキング動作の3つの重要な段階を捉える新しいフレームワークを提案する。 私たちの研究は、体重減少、学習率、グルーキングにおけるサンプルサイズといったハイパースの役割に光を当てています。
  論文  参考訳（メタデータ） (2025-09-25T20:08:09Z)
• GradPower: Powering Gradients for Faster Language Model Pre-Training [15.650619834236789]
  GradPowerは、言語モデルの事前トレーニングを加速するための軽量な変換技術である。 たった1行のコードの変更だけで、ベースの内部ロジックを変更する必要はない。 多様なアーキテクチャで終端損失を継続的に減少させる。
  論文  参考訳（メタデータ） (2025-05-30T06:49:57Z)
• Temperature is All You Need for Generalization in Langevin Dynamics and other Markov Processes [43.857810191928166]
  過度にパラメータ化されたモデルのトレーニングにおいて、トレーニングとテストエラーのギャップを分析する。 トレーニング時間にもミキシングにも依存せず、次元や勾配規範にも依存せず、損失やモデルの他の特性にも依存しています。
  論文  参考訳（メタデータ） (2025-05-25T10:49:09Z)
• Learning to Scale Logits for Temperature-Conditional GFlowNets [77.36931187299896]
  温度条件付きGFlowNetのトレーニングを大幅に高速化する新しいアーキテクチャ設計である textitLogit-scaling GFlowNets (Logit-GFN) を提案する。 温度の学習関数がポリシーのロジットを直接スケールするために使用されると、課題は大幅に減少する。
  論文  参考訳（メタデータ） (2023-10-04T13:45:56Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping [6.234350105794441]
  勾配推定はしばしば、離散潜在変数を持つ生成モデルに適合するために必要である。 DisARMや他の推定器は、パラメータ空間の境界付近でばらつきを爆発させる可能性がある。 パラメータ空間の境界における分散を小さくする勾配推定器 textitbitflip-1 を提案する。
  論文  参考訳（メタデータ） (2022-08-12T05:37:52Z)
• Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models? [46.01087792062936]
  クラス内のEmphbestメソッドの相対的性能による推定器のクラスの比較を行う。 これにより、学習アルゴリズムのチューニング感度を厳格に定量化できます。
  論文  参考訳（メタデータ） (2021-08-26T16:01:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。