論文の概要: Bridging Diffusion Guidance and Anderson Acceleration via Hopfield Dynamics

• arxiv url: http://arxiv.org/abs/2603.02531v1
• Date: Tue, 03 Mar 2026 02:44:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.60363
• Title: Bridging Diffusion Guidance and Anderson Acceleration via Hopfield Dynamics
• Title（参考訳）: ホップフィールドダイナミクスによるブリッジ拡散誘導とアンダーソン加速
• Authors: Kwanyoung Kim,
• Abstract要約: 現代ホップフィールドネットワークにおける固定点反復としての注意力のモデリングによる注意空間外挿の枠組みを確立する。 本稿では,加速度過程の安定化と誘導効率の最大化を図るため,GAG(Geometry Aware Attention Guidance)を提案する。
• 参考スコア（独自算出の注目度）: 8.46069844016289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classifier-Free Guidance (CFG) has significantly enhanced the generative quality of diffusion models by extrapolating between conditional and unconditional outputs. However, its high inference cost and limited applicability to distilled or single-step models have shifted research focus toward attention-space extrapolation. While these methods offer computational efficiency, their theoretical underpinnings remain elusive. In this work, we establish a foundational framework for attention-space extrapolation by modeling attention dynamics as fixed-point iterations within Modern Hopfield Networks. We demonstrate that the extrapolation effect in attention space constitutes a special case of Anderson Acceleration applied to these dynamics. Building on this insight and the weak contraction property, we propose Geometry Aware Attention Guidance (GAG). By decomposing attention updates into parallel and orthogonal components relative to the guidance direction, GAG stabilizes the acceleration process and maximizes guidance efficiency. Our plug-and-play method seamlessly integrates with existing frameworks while significantly improving generation quality.
• Abstract（参考訳）: CFG (Classifier-Free Guidance) は条件付きおよび非条件付き出力を外挿することで拡散モデルの生成品質を著しく向上させた。 しかし、その高い推論コストと蒸留または単段階モデルへの適用性は、注意空間外挿に焦点を移している。 これらの手法は計算効率を提供するが、理論的な基盤はいまだ解明されていない。 本研究では、現代のホップフィールドネットワークにおける固定点反復として注意動態をモデル化することにより、注意空間外挿のための基礎的枠組みを確立する。 注意空間における外挿効果は、これらの力学に適用されるアンダーソン加速度の特別な場合を構成することを実証する。 この知見と弱い収縮特性に基づいて,Geometry Aware Attention Guidance (GAG)を提案する。 注意更新を誘導方向に対して平行および直交成分に分解することにより、GAGは加速度過程を安定化し、誘導効率を最大化する。 我々のプラグイン・アンド・プレイ方式は、既存のフレームワークとシームレスに統合され、生成品質が大幅に向上する。

関連論文リスト

• Weight Updates as Activation Shifts: A Principled Framework for Steering [54.70188910511715]
  アクティベーションステアリングは極めてパラメータ効率のよい適応形態となるが、その有効性は重要な設計選択に依存する。 我々は,活性化空間介入と重量空間更新の1次等価性を確立し,活性化ステアリングが微調整動作を再現できる条件を導出する。 この等価性は、設計をステアリングするための原則的な枠組みをもたらし、ポストブロック出力を理論的に支持され、非常に表現力のある介入サイトとして特定する。
  論文  参考訳（メタデータ） (2026-02-28T02:50:04Z)
• ACFormer: Mitigating Non-linearity with Auto Convolutional Encoder for Time Series Forecasting [6.27761817493579]
  時系列予測(TSF)は、複雑なチャネル内時間依存性とチャネル間相関をモデル化する際の課題に直面している。 本稿では,線形射影の効率を,畳み込みの非線形特徴抽出力と整合させるアーキテクチャであるACFormerを提案する。
  論文  参考訳（メタデータ） (2026-01-28T13:47:54Z)
• Attention in Geometry: Scalable Spatial Modeling via Adaptive Density Fields and FAISS-Accelerated Kernels [0.0]
  本研究は,空間アグリゲーションを連続空間におけるクエリ条件付き,計量誘導型アグリゲーション演算子として定式化する幾何学的アグリゲーションフレームワークであるAdaptive Density Fields (ADF)を紹介する。 本研究では,Chengdu地域の航空機軌道解析のケーススタディを通じて,軌道条件付き影響帯(ZOI)を抽出し,再帰的な空域構造と局所的な偏差を明らかにする。
  論文  参考訳（メタデータ） (2026-01-05T05:42:40Z)
• OptFormer: Optical Flow-Guided Attention and Phase Space Reconstruction for SST Forecasting [4.206799880454911]
  本稿では,位相空間再構成とフローによって誘導される動き認識型アテンション機構を統合した新しい光エンコーダデコーダモデルであるOptFormerを提案する。 NOAA SSTデータセットを複数の空間スケールで実験した結果、OptFormerは1:1のトレーニング・トゥ・プレディション・セッティングで優れたパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-12-29T22:27:15Z)
• Towards Stable and Structured Time Series Generation with Perturbation-Aware Flow Matching [16.17115009663765]
  安定かつ構造的に一貫した時系列生成を保証するために、摂動軌道をモデル化するフレームワークである textbfPAFM を導入する。 このフレームワークは摂動誘導訓練を取り入れ、局所的な乱れをシミュレートし、二経路速度場を利用して摂動下での軌道偏差を捉える。 非条件および条件生成タスクの両方の実験において、PAFMは強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-18T13:30:56Z)
• RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
  本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。 従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。 実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-10-16T17:59:13Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
  ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。 効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。 経験的シミュレーションはこれらの主張を裏付ける。
  論文  参考訳（メタデータ） (2025-08-16T18:19:34Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition [97.14064057840089]
  カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。 最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
  論文  参考訳（メタデータ） (2020-11-07T19:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。