論文の概要: A Survey of Retentive Network

• arxiv url: http://arxiv.org/abs/2506.06708v1
• Date: Sat, 07 Jun 2025 08:09:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.445
• Title: A Survey of Retentive Network
• Title（参考訳）: レテンシブ・ネットワークの実態調査
• Authors: Haiqi Yang, Zhiyuan Li, Yi Chang, Yuan Wu,
• Abstract要約: Retentive Network(RetNet)は、ニューラルネットワークアーキテクチャの大幅な進歩を表し、Transformerの効率的な代替手段を提供する。 RetNetは、再帰の帰納バイアスと注意の世界的な依存性モデリングを統一する保持メカニズムを導入している。
• 参考スコア（独自算出の注目度）: 16.11958932344012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retentive Network (RetNet) represents a significant advancement in neural network architecture, offering an efficient alternative to the Transformer. While Transformers rely on self-attention to model dependencies, they suffer from high memory costs and limited scalability when handling long sequences due to their quadratic complexity. To mitigate these limitations, RetNet introduces a retention mechanism that unifies the inductive bias of recurrence with the global dependency modeling of attention. This mechanism enables linear-time inference, facilitates efficient modeling of extended contexts, and remains compatible with fully parallelizable training pipelines. RetNet has garnered significant research interest due to its consistently demonstrated cross-domain effectiveness, achieving robust performance across machine learning paradigms including natural language processing, speech recognition, and time-series analysis. However, a comprehensive review of RetNet is still missing from the current literature. This paper aims to fill that gap by offering the first detailed survey of the RetNet architecture, its key innovations, and its diverse applications. We also explore the main challenges associated with RetNet and propose future research directions to support its continued advancement in both academic research and practical deployment.
• Abstract（参考訳）: Retentive Network(RetNet)は、ニューラルネットワークアーキテクチャの大幅な進歩を表し、Transformerの効率的な代替手段を提供する。 Transformerは依存性のモデルに自己注意を頼っているが、その2次複雑さのために長いシーケンスを扱う場合、高いメモリコストと限られたスケーラビリティに悩まされる。 これらの制限を軽減するため、RetNetは、再帰の帰納バイアスと注意の世界的な依存性モデリングを統一する保持メカニズムを導入した。 このメカニズムにより線形時間推論が可能となり、拡張コンテキストの効率的なモデリングが容易になり、完全に並列化可能なトレーニングパイプラインと互換性が保たれる。 RetNetは、クロスドメインの有効性を一貫して実証し、自然言語処理、音声認識、時系列分析などの機械学習パラダイムで堅牢なパフォーマンスを実現しているため、大きな研究の関心を集めている。 しかし、RetNetの包括的なレビューは、現在の文献からまだ欠落している。 本稿では、RetNetアーキテクチャ、その重要なイノベーション、および多様なアプリケーションに関する最初の詳細な調査を提供することにより、そのギャップを埋めることを目的としている。 また、RetNetに関連する主な課題についても検討し、学術研究と実践的展開の両面での継続的な進歩を支援するための今後の研究方向性を提案する。

関連論文リスト

• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• TDNetGen: Empowering Complex Network Resilience Prediction with Generative Augmentation of Topology and Dynamics [14.25304439234864]
  本稿では,ネットワークトポロジとダイナミックスの生成的データ拡張を通じてこの問題に対処するために設計された,複雑なネットワークに対する新しいレジリエンス予測フレームワークを提案する。 3つのネットワークデータセットの実験結果から,提案するフレームワークであるTDNetGenは,最大85%～95%の精度で高い予測精度を達成可能であることが示された。
  論文  参考訳（メタデータ） (2024-08-19T09:20:31Z)
• State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
  このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。 新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-13T12:51:22Z)
• On the Resurgence of Recurrent Models for Long Sequences -- Survey and Research Opportunities in the Transformer Era [59.279784235147254]
  この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。 長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
  論文  参考訳（メタデータ） (2024-02-12T23:55:55Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Online Estimation and Community Detection of Network Point Processes for Event Streams [12.211623200731788]
  ネットワークモデリングにおける共通のゴールは、ノード間に存在する潜在コミュニティ構造を明らかにすることである。 本稿では,ネットワーク上の動的イベント到着に基づく潜在構造を推定する高速なオンライン変分推定アルゴリズムを提案する。 オンライン推論は、コミュニティリカバリの観点から、オンライン以外の変種に匹敵する性能が得られることを実証する。
  論文  参考訳（メタデータ） (2020-09-03T15:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。