論文の概要: AttentionSmithy: A Modular Framework for Rapid Transformer Development and Customization

• arxiv url: http://arxiv.org/abs/2502.09503v1
• Date: Thu, 13 Feb 2025 17:15:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:43.473416
• Title: AttentionSmithy: A Modular Framework for Rapid Transformer Development and Customization
• Title（参考訳）: AttentionSmithy: 高速トランスフォーマー開発とカスタマイズのためのモジュールフレームワーク
• Authors: Caleb Cranney, Jesse G. Meyer,
• Abstract要約: AttentionSmithyは、トランスフォーマーのイノベーションを単純化するモジュール式ソフトウェアパッケージです。 ユーザは、広範なコーディングなしに、トランスフォーマーの変種を迅速にプロトタイプ化し、評価することができる。 細胞型分類において95%以上の精度を達成し,遺伝子特異的モデリングにおける適応性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Transformer architectures have transformed AI applications but remain complex to customize for domain experts lacking low-level implementation expertise. We introduce AttentionSmithy, a modular software package that simplifies transformer innovation by breaking down key components into reusable building blocks: attention modules, feed-forward networks, normalization layers, and positional encodings. Users can rapidly prototype and evaluate transformer variants without extensive coding. Our framework supports four positional encoding strategies and integrates with neural architecture search for automated design. We validate AttentionSmithy by replicating the original transformer under resource constraints and optimizing translation performance by combining positional encodings. Additionally, we demonstrate its adaptability in gene-specific modeling, achieving over 95% accuracy in cell type classification. These case studies highlight AttentionSmithy's potential to accelerate research across diverse fields by removing framework implementation barriers.
• Abstract（参考訳）: トランスフォーマーアーキテクチャはAIアプリケーションを変えたが、低レベルの実装の専門知識を欠いたドメインエキスパートをカスタマイズするためには、依然として複雑である。 AttentionSmithyは,キーコンポーネントを再利用可能なビルディングブロック(アテンションモジュール,フィードフォワードネットワーク,正規化レイヤ,位置エンコーディング)に分割することで,トランスフォーマーのイノベーションを簡易化するモジュールソフトウェアパッケージである。 ユーザは、広範なコーディングなしに、トランスフォーマーの変種を迅速にプロトタイプ化し、評価することができる。 我々のフレームワークは、4つの位置符号化戦略をサポートし、自動設計のためのニューラルネットワーク検索と統合する。 我々は、リソース制約下で元のトランスフォーマーを複製し、位置エンコーディングを組み合わせることで翻訳性能を最適化することで、AttentionSmithyを検証する。 さらに、遺伝子特異的モデリングにおける適応性を示し、細胞型分類において95%以上の精度を達成した。 これらのケーススタディでは、フレームワークの実装障壁を取り除くことで、さまざまな分野の研究を加速するAttentionSmithyの可能性を強調している。

関連論文リスト

• Scalable, Tokenization-Free Diffusion Model Architectures with Efficient Initial Convolution and Fixed-Size Reusable Structures for On-Device Image Generation [0.0]
  ビジョントランスフォーマーとU-Netアーキテクチャは拡散モデルの実装において広く採用されている。 固定サイズ再利用可能なトランスブロックをコア構造として利用するアーキテクチャを提案する。 私たちのアーキテクチャの特徴は、複雑さの低い、トークンのない設計、位置埋め込みの欠如、均一性、スケーラビリティです。
  論文  参考訳（メタデータ） (2024-11-09T08:58:57Z)
• Vision Transformer with Quadrangle Attention [76.35955924137986]
  窓面に基づく注意を一般的な四角形定式化に拡張する新しい四角形注意法(QA)を提案する。 提案手法では,既定のウィンドウを対象の四角形に変換するために,変換行列を予測し,エンドツーエンドで学習可能な四角形回帰モジュールを用いる。 QAをプレーンかつ階層的な視覚変換器に統合し、QFormerという名の新しいアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-03-27T11:13:50Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• TransNorm: Transformer Provides a Strong Spatial Normalization Mechanism for a Deep Segmentation Model [4.320393382724066]
  畳み込みニューラルネットワーク(CNN)は、医療画像処理時代の主流技術である。 本稿では,Transformerモジュールをエンコーダとスキップ接続の両方に統合する,新しいディープセグメンテーションフレームワークであるTrans-Normを提案する。
  論文  参考訳（メタデータ） (2022-07-27T09:54:10Z)
• BiT: Robustly Binarized Multi-distilled Transformer [36.06192421902272]
  実測精度の高いバイナライズトランスフォーマーモデルを開発し,5.9%の精度で完全精度のBERTベースラインにアプローチする。 これらのアプローチにより、事実上の精度で完全に双対化されたトランスフォーマーモデルが5.9%の精度で完全精度のBERTベースラインに近づいた。
  論文  参考訳（メタデータ） (2022-05-25T19:01:54Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)
• RealFormer: Transformer Likes Residual Attention [5.841046725396454]
  RealFormerはシンプルなResidual Attention Layer Transformerアーキテクチャである。 これは、Masked Language Modeling、GLUE、SQuADなどのタスクのスペクトルで正規トランスフォーマーを大幅に上回っています。
  論文  参考訳（メタデータ） (2020-12-21T23:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。