論文の概要: Developing a Self-Explanatory Transformer

• arxiv url: http://arxiv.org/abs/2410.23083v1
• Date: Wed, 30 Oct 2024 14:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:50.702601
• Title: Developing a Self-Explanatory Transformer
• Title（参考訳）: 自己説明変換器の開発
• Authors: Rasha Karakchi, Ryan Karbowniczak,
• Abstract要約: 汎用プラットフォームとAIプラットフォームはこれらのタスクをうまく処理するが、自然言語処理のマッピングはトレーニング時間によって遅くなることが多い。 本研究は,非決定論的有限オートマトンに基づく自己探索型学習自由写像変換器について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: While IoT devices provide significant benefits, their rapid growth results in larger data volumes, increased complexity, and higher security risks. To manage these issues, techniques like encryption, compression, and mapping are used to process data efficiently and securely. General-purpose and AI platforms handle these tasks well, but mapping in natural language processing is often slowed by training times. This work explores a self-explanatory, training-free mapping transformer based on non-deterministic finite automata, designed for Field-Programmable Gate Arrays (FPGAs). Besides highlighting the advantages of this proposed approach in providing real-time, cost-effective processing and dataset-loading, we also address the challenges and considerations for enhancing the design in future iterations.
• Abstract（参考訳）: IoTデバイスは大きなメリットを提供するが、その急速な成長により、データボリュームが大きくなり、複雑さが増し、セキュリティリスクも高くなる。 これらの問題を管理するために、暗号化、圧縮、マッピングといった技術が、データを効率的かつ安全に処理するために使用される。 汎用プラットフォームとAIプラットフォームはこれらのタスクをうまく処理するが、自然言語処理のマッピングはトレーニング時間によって遅くなることが多い。 本研究では、フィールドプログラマブルゲートアレー(FPGA)用に設計された非決定論的有限オートマトンに基づく自己探索型無訓練マッピングトランスフォーマについて検討する。 この提案されたアプローチの利点として、リアルタイムでコスト効率のよい処理とデータセットのローディングを提供することに加えて、将来のイテレーションで設計を強化する上での課題と考慮にも取り組んでいます。

関連論文リスト

• LinFormer: A Linear-based Lightweight Transformer Architecture For Time-Aware MIMO Channel Prediction [39.12741712294741]
  第6世代(6G)モバイルネットワークは、ハイモビリティ通信をサポートする上で、新たな課題をもたらす。 本稿では,スケーラブルで全線形なエンコーダのみのトランスフォーマーモデルに基づく,革新的なチャネル予測フレームワークLinFormerを提案する。 提案手法は,高い予測精度を維持しつつ,計算複雑性を大幅に低減し,コスト効率のよい基地局(BS)の展開に適している。
  論文  参考訳（メタデータ） (2024-10-28T13:04:23Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets [0.0]
  ビジョントランスフォーマーはコンピュータビジョンに革命をもたらしたが、その計算要求はトレーニングとデプロイメントの課題を提示している。 本稿では,データの宝くじ選択と空間プルーニングを利用して,精度を維持しながら視覚変換器のトレーニングを高速化する新しい手法であるLOTUSを紹介する。
  論文  参考訳（メタデータ） (2024-05-01T23:30:12Z)
• Dimensionality Reduction in Sentence Transformer Vector Databases with Fast Fourier Transform [0.0]
  ベクトルデータベースの次元性低減は、AIデータ管理の合理化に重要である。 本稿では,ベクトルデータベースの次元を減らし,計算効率を重視し,次元の呪いを克服する利点について考察する。 本稿では,Fast Fourier Transform (FFT) の次元化への応用について紹介する。
  論文  参考訳（メタデータ） (2024-04-09T13:02:22Z)
• Accelerator-driven Data Arrangement to Minimize Transformers Run-time on Multi-core Architectures [5.46396577345121]
  人工知能におけるトランスフォーマーモデルの複雑さは、計算コスト、メモリ使用量、エネルギー消費を拡大します。 ハードウェアアクセラレーターのカーネルサイズに支配される新しいメモリアレンジメント戦略を提案し,オフチップデータアクセスを効果的に最小化する。 我々の手法は、最先端の変圧器を用いた推論を実行する場合、最大2.8倍の速度向上を実現することができる。
  論文  参考訳（メタデータ） (2023-12-20T13:01:25Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• Deep-Unfolding for Next-Generation Transceivers [49.338084953253755]
  次世代マルチインプット・マルチアウトプット(MIMO)トランシーバの定義に関する研究が進められている。 無線通信における先進トランシーバーの設計において、しばしば反復アルゴリズムにつながる最適化アプローチは大きな成功を収めた。 ディープニューラルネットワーク(DNN)で反復アルゴリズムを近似するディープラーニングは、計算時間を著しく短縮することができる。 ディープラーニングと反復アルゴリズムの両方の利点を取り入れたディープアンフォールディングが登場し、反復アルゴリズムを階層的な構造に展開している。
  論文  参考訳（メタデータ） (2023-05-15T02:13:41Z)
• Pointerformer: Deep Reinforced Multi-Pointer Transformer for the Traveling Salesman Problem [67.32731657297377]
  トラベリングセールスマン問題(TSP)は、もともと輸送と物流の領域で発生した古典的な経路最適化問題である。 近年, 深層強化学習は高い推論効率のため, TSP の解法として採用されている。 本稿では,多点変換器をベースとした新しいエンドツーエンドDRL手法であるPointerformerを提案する。
  論文  参考訳（メタデータ） (2023-04-19T03:48:32Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• A Transformer Framework for Data Fusion and Multi-Task Learning in Smart Cities [99.56635097352628]
  本稿では,新興スマートシティを対象としたトランスフォーマーベースのAIシステムを提案する。 ほぼ全ての入力データと出力タスクタイプをサポートし、現在のS&CCをサポートする。 S&CC環境を代表する多様なタスクセットを学習して実演する。
  論文  参考訳（メタデータ） (2022-11-18T20:43:09Z)
• Demystifying BERT: Implications for Accelerator Design [4.80595971865854]
  私たちは、最も人気のあるNLP転送学習アルゴリズムの1つであるBERTに焦点を当て、アルゴリズムの振る舞いが将来のアクセラレータ設計を導く方法を特定します。 計算集約型BERT計算を特徴づけ、これらの計算をさらに最適化するためのソフトウェアと可能なハードウェアメカニズムについて議論します。 本分析では,BERT系モデルに対するシステム最適化のための全体解を同定する。
  論文  参考訳（メタデータ） (2021-04-14T01:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。