論文の概要: A One-Layer Decoder-Only Transformer is a Two-Layer RNN: With an Application to Certified Robustness

• arxiv url: http://arxiv.org/abs/2405.17361v1
• Date: Mon, 27 May 2024 17:10:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 14:23:58.806131
• Title: A One-Layer Decoder-Only Transformer is a Two-Layer RNN: With an Application to Certified Robustness
• Title（参考訳）: 1層デコーダオンリー変換器は2層RNNである:認証ロバストネスへの応用
• Authors: Yuhao Zhang, Aws Albarghouthi, Loris D'Antoni,
• Abstract要約: ARC-Tranは、任意の摂動空間に対してデコーダのみの変換器の堅牢性を検証する新しい手法である。 本評価の結果,ARC-Tran 列車は既存の手法よりも任意の摂動空間に頑健なモデルであることがわかった。
• 参考スコア（独自算出の注目度）: 17.0639534812572
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper reveals a key insight that a one-layer decoder-only Transformer is equivalent to a two-layer Recurrent Neural Network (RNN). Building on this insight, we propose ARC-Tran, a novel approach for verifying the robustness of decoder-only Transformers against arbitrary perturbation spaces. Compared to ARC-Tran, current robustness verification techniques are limited either to specific and length-preserving perturbations like word substitutions or to recursive models like LSTMs. ARC-Tran addresses these limitations by meticulously managing position encoding to prevent mismatches and by utilizing our key insight to achieve precise and scalable verification. Our evaluation shows that ARC-Tran (1) trains models more robust to arbitrary perturbation spaces than those produced by existing techniques and (2) shows high certification accuracy of the resulting models.
• Abstract（参考訳）: 本稿では,1層デコーダのみのトランスが2層リカレントニューラルネットワーク(RNN)と等価であることを示す。 この知見に基づいて,任意の摂動空間に対するデコーダのみの変換器の堅牢性を検証する新しい手法ARC-Tranを提案する。 ARC-Tranと比較して、現在の堅牢性検証技術は、単語置換のような特定のおよび保存される摂動、またはLSTMのような再帰的なモデルに限られている。 ARC-Tranは、ミスマッチを防ぐための位置エンコーディングを慎重に管理し、重要な洞察を活用して正確でスケーラブルな検証を行うことによって、これらの制限に対処する。 本評価の結果, ARC-Tran(1) は既存の手法よりも任意の摂動空間に頑健なモデルであり, (2) 結果の精度が高いことがわかった。

関連論文リスト

• On the Design and Performance of Machine Learning Based Error Correcting Decoders [3.8289109929360245]
  まず, 単一ラベル型ニューラルネットワーク (SLNN) とマルチラベル型ニューラルネットワーク (MLNN) のデコーダについて検討した。 次に、エラー訂正符号変換器(ECCT)とクロスアテンションメッセージパッシング変換器(CrossMPT)という、2つのトランスフォーマーベースのデコーダに注目します。
  論文  参考訳（メタデータ） (2024-10-21T11:23:23Z)
• CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes [14.631435001491514]
  クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 また、CrossMPTは、既存のニューラルネットワークベースのデコーダを、様々なコードクラスで大幅に上回っていることを示す。 特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
  論文  参考訳（メタデータ） (2024-05-02T06:30:52Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Efficient Decoder-free Object Detection with Transformers [75.00499377197475]
  視覚変換器(ViT)は、物体検出アプローチのランドスケープを変化させている。 本稿では,デコーダフリー完全トランス(DFFT)オブジェクト検出器を提案する。 DFFT_SMALLは、トレーニングおよび推論段階で高い効率を達成する。
  論文  参考訳（メタデータ） (2022-06-14T13:22:19Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• D^2ETR: Decoder-Only DETR with Computationally Efficient Cross-Scale Attention [27.354159713970322]
  我々はD2ETRと呼ばれるデコーダのみの検出器を提案する。 エンコーダがない場合、デコーダはTransformerのバックボーンによって生成された細分化された特徴マップに直接出席する。 D2ETRはCOCOベンチマークの評価において計算複雑性が低く、高い検出精度を示す。
  論文  参考訳（メタデータ） (2022-03-02T04:21:12Z)
• Deliberation of Streaming RNN-Transducer by Non-autoregressive Decoding [21.978994865937786]
  この方法は、テキスト機能とオーディオ機能の両方に対応するトランスフォーマーデコーダを各ステップで共有する、いくつかの改善ステップを実行する。 本研究では,ストリーミングRNN-Tモデルの仮説アライメントを条件に,第1パスRNN-Tよりも精度の高い認識結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-12-01T01:34:28Z)
• Video Super-Resolution Transformer [85.11270760456826]
  ビデオ超解像(VSR)は、高解像度映像を対応する低解像度バージョンから復元することを目的としており、時空間シーケンス予測問題である。 近年,シークエンス・ツー・シーケンス・モデリングの並列計算能力により,Transformerが人気を集めている。 本稿では,空間的・時間的畳み込み型自己認識層を理論的に理解し,局所性情報を活用する。
  論文  参考訳（メタデータ） (2021-06-12T20:00:32Z)
• Oriented Object Detection with Transformer [51.634913687632604]
  我々は,エンドツーエンドネットワークに基づくTRansformer(bf O2DETR$)によるオブジェクト指向オブジェクト検出を実装した。 注意機構を奥行き分離可能な畳み込みに置き換えることで,トランスフォーマーの簡易かつ高効率なエンコーダを設計する。 私たちの$rm O2DETR$は、オブジェクト指向オブジェクト検出の分野における別の新しいベンチマークになり、より高速なR-CNNとRetinaNetに対して最大3.85mAPの改善が達成されます。
  論文  参考訳（メタデータ） (2021-06-06T14:57:17Z)
• Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
  CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。 実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
  論文  参考訳（メタデータ） (2020-10-28T15:00:09Z)
• Constrained Decoding for Computationally Efficient Named Entity Recognition Taggers [15.279850826041066]
  現在の研究は、スパン符号化方式がどのように機能するかについての事前知識を導き、遷移が違法であり、グローバルコヒーレンスを促進することができない条件付きランダムフィールド(CRF)学習に依存している。 不正な遷移を抑制するために出力を制限することにより、統計的に重要でないF1の違いでCRFの2倍の速度で、クロスエントロピー損失のタガーを訓練できることがわかった。
  論文  参考訳（メタデータ） (2020-10-09T04:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。