論文の概要: Attention is All You Need Until You Need Retention

• arxiv url: http://arxiv.org/abs/2501.09166v1
• Date: Wed, 15 Jan 2025 21:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 16:36:32.092414
• Title: Attention is All You Need Until You Need Retention
• Title（参考訳）: 注意が必要になるまでは、注意が必要だ
• Authors: M. Murat Yaslioglu,
• Abstract要約: この研究はトランスフォーマーベースのアーキテクチャのための新しいRetention Layerメカニズムを導入し、本質的な保持機能の欠如に対処する。 Retention Layerには、リアルタイムデータ人口、動的リコール、ガイド付き出力生成が可能な永続メモリモジュールが含まれている。 各領域において、保持機構は、システムが漸進的に学習し、アウトプットをパーソナライズし、進化する現実世界の課題に効果的に対応できるようにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This work introduces a novel Retention Layer mechanism for Transformer based architectures, addressing their inherent lack of intrinsic retention capabilities. Unlike human cognition, which can encode and dynamically recall symbolic templates, Generative Pretrained Transformers rely solely on fixed pretrained weights and ephemeral context windows, limiting their adaptability. The proposed Retention Layer incorporates a persistent memory module capable of real time data population, dynamic recall, and guided output generation. This enhancement allows models to store, update, and reuse observed patterns across sessions, enabling incremental learning and bridging the gap between static pretraining and dynamic, context sensitive adaptation. The Retention Layer design parallels social learning processes, encompassing attention, retention, reproduction, and motivation stages. Technically, it integrates a memory attention mechanism and episodic buffers to manage memory scalability, mitigate overfitting, and ensure efficient recall. Applications span adaptive personal assistants, real time fraud detection, autonomous robotics, content moderation, and healthcare diagnostics. In each domain, the retention mechanism enables systems to learn incrementally, personalize outputs, and respond to evolving real world challenges effectively. By emulating key aspects of human learning, this retention enhanced architecture fosters a more fluid and responsive AI paradigm, paving the way for dynamic, session aware models that extend the capabilities of traditional Transformers into domains requiring continual adaptation.
• Abstract（参考訳）: この研究はトランスフォーマーベースのアーキテクチャのための新しいRetention Layerメカニズムを導入し、本質的な保持機能の欠如に対処する。 シンボルテンプレートをエンコードして動的にリコールできる人間の認知とは異なり、生成事前学習トランスフォーマーは、固定された事前訓練された重みと短命なコンテキストウインドウにのみ依存し、適応性を制限する。 提案されたRetention Layerには、リアルタイムデータ人口、動的リコール、ガイド付き出力生成が可能な永続メモリモジュールが組み込まれている。 この強化により、モデルはセッション間で観察されたパターンを保存、更新、再利用することができ、段階的な学習を可能にし、静的事前学習と動的でコンテキストに敏感な適応のギャップを埋めることができる。 保持層の設計は、注意、保持、再生、モチベーション段階を含む社会的学習プロセスと平行している。 技術的には、メモリアテンション機構とエピソードバッファを統合して、メモリスケーラビリティを管理し、オーバーフィッティングを緩和し、効率的なリコールを保証する。 アプリケーションは、適応的なパーソナルアシスタント、リアルタイム不正検出、自律ロボット工学、コンテンツモデレーション、医療診断にまたがる。 各領域において、保持機構は、システムが漸進的に学習し、アウトプットをパーソナライズし、進化する現実世界の課題に効果的に対応できるようにする。 人間の学習の重要な側面をエミュレートすることで、この保持強化アーキテクチャは、より流動的で応答性の高いAIパラダイムを促進し、従来のトランスフォーマーの能力を継続的な適応を必要とする領域に拡張する、動的でセッション対応のモデルを実現する。

関連論文リスト

• Modular Memory is the Key to Continual Learning Agents [100.09688599754465]
  In-Weight Learning(IWL)の強みと、モジュラーメモリの設計を通じて新たに登場したIn-Context Learning(ICL)の機能を組み合わせることが、大規模に継続的適応するための欠片である、と我々は主張する。 我々は、ICLを高速適応と知識蓄積に活用するモジュール型メモリ中心アーキテクチャの概念的フレームワークと、モデル機能の安定した更新のためのIWLについて概説する。
  論文  参考訳（メタデータ） (2026-03-02T11:40:05Z)
• Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning [44.94110361062394]
  実世界の意思決定は、安定かつ適応性のあるメモリに依存する。 既存の強化学習ベンチマークとメモリ拡張エージェントは、主に保持に焦点を当てている。 部分的な可観測性の下で連続的なメモリ更新を明示的にテストするベンチマークを導入する。
  論文  参考訳（メタデータ） (2026-01-21T15:27:23Z)
• The AI Hippocampus: How Far are We From Human Memory? [77.04745635827278]
  インプリシットメモリは、事前訓練されたトランスフォーマーの内部パラメータに埋め込まれた知識を指す。 明示メモリは、動的でクエリ可能な知識表現でモデル出力を増大させるように設計された外部ストレージと検索コンポーネントを含んでいる。 エージェントメモリは、自律エージェント内に永続的、時間的に拡張されたメモリ構造を導入する。
  論文  参考訳（メタデータ） (2026-01-14T03:24:08Z)
• Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning [53.72709564555407]
  Memoは、強化学習のためのトランスフォーマーベースのアーキテクチャとトレーニングのレシピである。 トレーニング中のモデルの入力と周期的な要約トークンをインターリーブすることで、メモリの生成と検索を組み込む。 グリッドワールドメタRLベンチマークとマルチオブジェクトナビゲーションタスクにおけるMemoの有効性を,フォトリアリスティック屋内環境で実証する。
  論文  参考訳（メタデータ） (2025-10-22T16:24:47Z)
• PISA: A Pragmatic Psych-Inspired Unified Memory System for Enhanced AI Agency [50.712873697511206]
  既存の作業は、多種多様なタスクへの適応性に欠けることが多く、AIエージェントメモリの構成的およびタスク指向の役割を見落としている。 PISAは,メモリを構築的かつ適応的なプロセスとして扱う,実践的でサイコにインスパイアされた統合メモリシステムである。 既存のLOCOMOベンチマークと新たに提案したデータ解析タスクのAggQAベンチマークに基づいて,PISAが適応性と長期的知識保持を大幅に向上させることで,新たな最先端技術を設定することを確認した。
  論文  参考訳（メタデータ） (2025-10-12T10:34:35Z)
• Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures [4.942399246128045]
  記憶は知性の基本であり、生物学的および人工システム間の学習、推論、適応性を可能にする。 トランスフォーマーはシーケンスモデリングにおいて優れているが、長距離コンテキスト保持、連続学習、知識統合において制限に直面している。 このレビューでは、動的多時間記憶、選択的注意、統合など、神経科学の原則をブリッジする統一的な枠組みを提示する。
  論文  参考訳（メタデータ） (2025-08-14T16:48:38Z)
• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• Latent Structured Hopfield Network for Semantic Association and Retrieval [52.634915010996835]
  エピソード記憶は、オブジェクト、場所、時間などの意味的要素をコヒーレントなイベント表現に関連付けることによって、過去の経験を思い出すことができる。 本稿では,連続ホップフィールドアトラクタダイナミクスを自動エンコーダアーキテクチャに統合するフレームワークであるLatent Structured Hopfield Network (LSHN)を提案する。 従来のホップフィールドネットワークとは異なり、我々のモデルは勾配勾配でエンドツーエンドに訓練され、スケーラブルで堅牢なメモリ検索を実現する。
  論文  参考訳（メタデータ） (2025-06-02T04:24:36Z)
• Exploring Synaptic Resonance in Large Language Models: A Novel Approach to Contextual Memory Integration [0.0]
  新しいメカニズム、Synaptic Resonanceは、トレーニングと推論中に関連する記憶経路を動的に強化するために導入された。 オープンソースの言語モデルを用いて行った評価は、パープレキシティの低減、文脈的コヒーレンスの向上、入力雑音に対するロバスト性の向上を示す。
  論文  参考訳（メタデータ） (2025-02-15T07:06:10Z)
• Autonomous Structural Memory Manipulation for Large Language Models Using Hierarchical Embedding Augmentation [0.0]
  本研究では,マルチレベルセマンティック構造を通じてトークンの表現を再定義する手段として,階層的な埋め込み拡張を導入する。 その結果、より長い入力シーケンスに対して処理オーバーヘッドが大幅に削減され、計算効率が大幅に向上した。 トークン表現とメモリ構成を動的に調整する能力は、様々な予測不可能な入力条件下でモデルの堅牢性に寄与した。
  論文  参考訳（メタデータ） (2025-01-23T22:20:36Z)
• PersonaMagic: Stage-Regulated High-Fidelity Face Customization with Tandem Equilibrium [55.72249032433108]
  PersonaMagicは、高忠実な顔のカスタマイズのために設計された、ステージ制御された生成技術である。 本手法は,顔の概念を捉えるために,特定の時間間隔内に一連の埋め込みを学習する。 定性評価と定量的評価の両方において、ペルソナマジックが最先端の手法よりも優れていることを確認する。
  論文  参考訳（メタデータ） (2024-12-20T08:41:25Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
  本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。 このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。 このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
  論文  参考訳（メタデータ） (2024-07-09T12:21:35Z)
• The Empirical Impact of Forgetting and Transfer in Continual Visual Odometry [4.704582238028159]
  本研究は, ニューラルネットワークにおける破滅的記憶の影響と知識伝達の有効性を, 具体的環境下で連続的に学習したニューラルネットワークを用いて検討した。 環境間の高い伝達性を有する初期満足度性能を観察し,その後に特殊化相を呈する。 これらの知見は、生涯のロボット工学における適応と記憶保持のバランスをとることのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2024-06-03T21:32:50Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• Recurrent Action Transformer with Memory [39.58317527488534]
  本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。 メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。 その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T19:29:08Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。