論文の概要: On the Universality of Transformer Architectures; How Much Attention Is Enough?
- arxiv url: http://arxiv.org/abs/2512.18445v1
- Date: Sat, 20 Dec 2025 17:31:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.338491
- Title: On the Universality of Transformer Architectures; How Much Attention Is Enough?
- Title（参考訳）: トランスフォーマーアーキテクチャの普遍性について - どれくらいの注意が必要か?
- Authors: Amirreza Abbasi, Mohsen Hooshmand,
- Abstract要約: トランスフォーマーは、大きな言語モデル、コンピュータビジョン、強化学習など、多くのAI分野において不可欠である。
本研究はトランスフォーマーにおける普遍性の問題について検討し、最近の進歩をレビューし、最先端の進歩を調査する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers are crucial across many AI fields, such as large language models, computer vision, and reinforcement learning. This prominence stems from the architecture's perceived universality and scalability compared to alternatives. This work examines the problem of universality in Transformers, reviews recent progress, including architectural refinements such as structural minimality and approximation rates, and surveys state-of-the-art advances that inform both theoretical and practical understanding. Our aim is to clarify what is currently known about Transformers expressiveness, separate robust guarantees from fragile ones, and identify key directions for future theoretical research.
- Abstract（参考訳）: トランスフォーマーは、大きな言語モデル、コンピュータビジョン、強化学習など、多くのAI分野において不可欠である。
この卓越性は、アーキテクチャの普遍性とスケーラビリティが、代替品と比較して認識されていることに由来する。
本研究はトランスフォーマーにおける普遍性の問題について検討し、構造的最小度や近似率といったアーキテクチャの洗練を含む最近の進歩を概観し、理論的および実践的理解を両立させる最先端の調査を行う。
我々の目標は、トランスフォーマーの表現性について現在知られていることを明確にし、脆弱なものから頑健な保証を分離し、将来の理論的研究の鍵となる方向を特定することである。
関連論文リスト
- Decoupling Knowledge and Reasoning in Transformers: A Modular Architecture with Generalized Cross-Attention [9.401360346241296]
本稿では,知識と推論を明確に分離するモジュール型トランスフォーマーアーキテクチャを提案する。
本稿では,標準トランスフォーマーのフィードフォワードネットワーク(FFN)が特殊ケースであることを示す厳密な数学的導出を提供する。
論文 参考訳（メタデータ） (2025-01-01T12:55:57Z) - Advances in Transformers for Robotic Applications: A Review [0.9208007322096533]
我々は、ロボティクスにおけるトランスフォーマーの最近の進歩とトレンドを概観する。
自律システムにおけるロボット認識,計画,制御への統合について検討する。
信頼性の高い計画と知覚のために、トランスフォーマーの異なるバリエーションがロボティクスにどのように適応されているかについて議論する。
論文 参考訳（メタデータ） (2024-12-13T23:02:15Z) - Body Transformer: Leveraging Robot Embodiment for Policy Learning [51.531793239586165]
ボディートランスフォーマー(ボディートランスフォーマー、Body Transformer、BoT)は、学習プロセスを導く誘導バイアスを提供することで、ロボットの体現性を活用するアーキテクチャである。
我々はロボットの体をセンサーとアクチュエータのグラフとして表現し、建築全体を通してプール情報にマスキングされた注意を頼りにしている。
結果として得られるアーキテクチャは、バニラ変換器と古典的な多層パーセプトロンを、タスク完了、スケーリング特性、計算効率の点で上回る。
論文 参考訳（メタデータ） (2024-08-12T17:31:28Z) - Adventures of Trustworthy Vision-Language Models: A Survey [54.76511683427566]
本稿では,バイス,ロバスト性,解釈可能性の3つの基本原理を用いて,視覚言語変換器の徹底的な検証を行う。
本研究の主な目的は, トランスフォーマーの実用化に伴う複雑さと複雑さを掘り下げることであり, 信頼性と説明責任を高める方法の理解を深めることである。
論文 参考訳（メタデータ） (2023-12-07T11:31:20Z) - Introduction to Transformers: an NLP Perspective [59.0241868728732]
本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。
これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
論文 参考訳（メタデータ） (2023-11-29T13:51:04Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-02-14T18:51:22Z) - What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
変圧器は自己注意を用いて対関係を抽出することができる。
優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。
Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。
TokenPropの正規化対象は、標準トレーニング体制で採用されている。
論文 参考訳（メタデータ） (2022-12-21T15:51:43Z) - Transformers in Vision: A Survey [101.07348618962111]
トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。
変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。
本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2021-01-04T18:57:24Z) - A Survey on Visual Transformer [126.56860258176324]
Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。
本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
論文 参考訳（メタデータ） (2020-12-23T09:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。