論文の概要: In-context denoising with one-layer transformers: connections between attention and associative memory retrieval

• arxiv url: http://arxiv.org/abs/2502.05164v1
• Date: Fri, 07 Feb 2025 18:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:55:23.757055
• Title: In-context denoising with one-layer transformers: connections between attention and associative memory retrieval
• Title（参考訳）: 一層トランスを用いたインコンテクスト記述--注意と連想記憶検索の関連性
• Authors: Matthew Smart, Alberto Bietti, Anirvan M. Sengupta,
• Abstract要約: 注目型アーキテクチャと高密度連想型メモリネットワークとの接続を洗練させるタスクであるインコンテキストデノベーションを導入する。 理論上, 実験上, ある制限された復調問題を単層変圧器でも最適に解けることを示す。
• 参考スコア（独自算出の注目度）: 20.076525507944776
• License:
• Abstract: We introduce in-context denoising, a task that refines the connection between attention-based architectures and dense associative memory (DAM) networks, also known as modern Hopfield networks. Using a Bayesian framework, we show theoretically and empirically that certain restricted denoising problems can be solved optimally even by a single-layer transformer. We demonstrate that a trained attention layer processes each denoising prompt by performing a single gradient descent update on a context-aware DAM energy landscape, where context tokens serve as associative memories and the query token acts as an initial state. This one-step update yields better solutions than exact retrieval of either a context token or a spurious local minimum, providing a concrete example of DAM networks extending beyond the standard retrieval paradigm. Overall, this work solidifies the link between associative memory and attention mechanisms first identified by Ramsauer et al., and demonstrates the relevance of associative memory models in the study of in-context learning.
• Abstract（参考訳）: 注目型アーキテクチャと高密度連想メモリ(DAM)ネットワーク(現代のホップフィールドネットワーク)の接続を洗練させるタスクであるインコンテキストデノベーションを導入する。 ベイジアン・フレームワークを用いて、特定の制限された復調問題を単一層変圧器でも最適に解けることを理論的かつ実証的に示す。 トレーニングされた注意層は、コンテキスト対応のDAMエネルギーランドスケープに対して単一の勾配降下更新を実行し、コンテキストトークンが連想記憶として機能し、クエリトークンが初期状態として機能することを実証する。 この一段階の更新は、コンテキストトークンまたは急激な局所最小値の正確な検索よりも優れたソリューションをもたらし、標準的な検索パラダイムを超えて拡張されたDAMネットワークの具体例を提供する。 全体として、この研究はラムザウアーらによって最初に同定された連想記憶と注意機構の関連を解明し、文脈内学習研究における連想記憶モデルとの関連性を示す。

関連論文リスト

• Integrating Temporal Representations for Dynamic Memory Retrieval and Management in Large Language Models [8.943924354248622]
  我々は、シナプス力学をレトリーバル強化生成(RAG)に組み込む新しいアプローチであるSynapticRAGを提案する。 本手法は,会話から長期的文脈維持と特定の情報抽出を強化することで,文脈認識型対話型AIシステムを進化させる。
  論文  参考訳（メタデータ） (2024-10-17T13:51:03Z)
• DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and Authentication [50.017055360261665]
  DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。 これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。 このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
  論文  参考訳（メタデータ） (2024-02-03T06:49:42Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition [0.0]
  連想記憶は、大々的に繰り返される新皮質ネットワークによって実行される計算の有力候補である。 我々は,非教師付きヘビアン・ベイズ学習規則を用いて分散表現を学習するフィードフォワードネットワークに,繰り返しアトラクタネットワークを結合する。 本研究では, フィードフォワード駆動型内部(隠れた)表現のトレーニングにおいて, 繰り返しアトラクタコンポーネントが連想メモリを実装していることを示す。
  論文  参考訳（メタデータ） (2022-06-30T06:03:11Z)
• Visual Attention Emerges from Recurrent Sparse Reconstruction [82.78753751860603]
  本稿では,人間の視覚的注意機構の2つの特徴,すなわち再発と空間性に基づく新しい注意形態について述べる。 自己注意は単一ステップの最適化と空間制約のないVARSの特殊な場合であることを示す。 VARSは、一般的な視覚変換器における自己注意の代替として容易に利用でき、様々なベンチマークでその堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2022-04-23T00:35:02Z)
• Progressively Guide to Attend: An Iterative Alignment Framework for Temporal Sentence Grounding [53.377028000325424]
  時間的文接地作業のための反復アライメントネットワーク(IA-Net)を提案する。 学習可能なパラメータを持つマルチモーダル特徴をパットすることで、非整合フレームワードペアの非整合問題を軽減する。 また、アライメントの知識を洗練させるために、各アライメントモジュールに従ってキャリブレーションモジュールを考案する。
  論文  参考訳（メタデータ） (2021-09-14T02:08:23Z)
• Visual Concept Reasoning Networks [93.99840807973546]
  分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。 我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。 提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
  論文  参考訳（メタデータ） (2020-08-26T20:02:40Z)
• Multi-Task Network for Noise-Robust Keyword Spotting and Speaker Verification using CTC-based Soft VAD and Global Query Attention [13.883985850789443]
  キーワードスポッティング(KWS)と話者検証(SV)は独立に研究されているが、音響領域と話者領域は相補的である。 KWS と SV を同時に行うマルチタスクネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:58:46Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。