論文の概要: PIDformer: Transformer Meets Control Theory

• arxiv url: http://arxiv.org/abs/2402.15989v1
• Date: Sun, 25 Feb 2024 05:04:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 16:03:55.832566
• Title: PIDformer: Transformer Meets Control Theory
• Title（参考訳）: pidformer: 制御理論を満たしたトランスフォーマー
• Authors: Tam Nguyen, C\'esar A. Uribe, Tan M. Nguyen, Richard G. Baraniuk
• Abstract要約: 我々は、そのソリューションのスムーズさを本質的に促進する自律的状態空間モデルとして自己意識を公表する。 モデルに参照点を持つPID(Proportional-Integral-Derivative)クローズドループフィードバック制御システムを導入し,ロバスト性や表現能力の向上を図る。 この制御フレームワークにより、新しい変換器のクラス、PID制御変換器(PIDformer)を導出する。
• 参考スコア（独自算出の注目度）: 28.10913642120948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we address two main shortcomings of transformer architectures: input corruption and rank collapse in their output representation. We unveil self-attention as an autonomous state-space model that inherently promotes smoothness in its solutions, leading to lower-rank outputs and diminished representation capacity. Moreover, the steady-state solution of the model is sensitive to input perturbations. We incorporate a Proportional-Integral-Derivative (PID) closed-loop feedback control system with a reference point into the model to improve robustness and representation capacity. This integration aims to preserve high-frequency details while bolstering model stability, rendering it more noise-resilient. The resulting controlled state-space model is theoretically proven robust and adept at addressing the rank collapse. Motivated by this control framework, we derive a novel class of transformers, PID-controlled Transformer (PIDformer), aimed at improving robustness and mitigating the rank-collapse issue inherent in softmax transformers. We empirically evaluate the model for advantages and robustness against baseline transformers across various practical tasks, including object classification, image segmentation, and language modeling.
• Abstract（参考訳）: 本稿では,入力の破損と出力表現におけるランク崩壊という,トランスフォーマーアーキテクチャの2つの主な欠点に対処する。 我々は,自発的状態空間モデルとして自発的アテンションを提示し,その解の滑らかさを本質的に促進し,低ランク出力と表現能力の低下をもたらす。 さらに、モデルの定常解は入力摂動に敏感である。 モデルに基準点を持つPID(Proportional-Integral-Derivative)閉ループフィードバック制御システムを導入し,ロバスト性と表現能力の向上を図る。 この統合は、モデルの安定性を高めながら高周波の詳細を保存することを目的としている。 制御された状態空間モデルは理論的に堅牢であることが証明され、ランク崩壊に対処できる。 この制御フレームワークにより,ソフトマックス変圧器に内在する段差問題を緩和し,ロバスト性の向上を目的とした新しい変圧器 PID 制御変圧器 (PIDformer) を導出する。 我々は,オブジェクト分類,画像分割,言語モデリングなど,様々な実践課題において,ベースライントランスフォーマーに対する利点と頑健さのモデルを実証的に評価する。

関連論文リスト

• Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves [69.9104427437916]
  マルチジェネレータ・ウェーブ・エナジー・コンバータ(WEC)は、スプレッド・ウェーブと呼ばれる異なる方向から来る複数の同時波を処理しなければならない。 これらの複雑な装置は、エネルギー捕獲効率、維持を制限する構造的ストレスの低減、高波に対する積極的な保護という複数の目的を持つコントローラを必要とする。 本稿では,システム力学のシーケンシャルな性質をモデル化する上で,ポリシーと批判ネットワークの異なる機能近似について検討する。
  論文  参考訳（メタデータ） (2024-04-17T02:04:10Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• How Crucial is Transformer in Decision Transformer? [29.228813063916206]
  決定変換器(Decision Transformer, DT)は、最近提案された強化学習のためのアーキテクチャである。 連続制御タスクにおける完全なDTアーキテクチャにおけるTransformerモデルの重要性を分析する。
  論文  参考訳（メタデータ） (2022-11-26T20:13:22Z)
• DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation [50.08080424613603]
  高精度な単分子深度推定には長距離相関が不可欠である。 我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。 提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
  論文  参考訳（メタデータ） (2022-03-27T05:03:56Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Decision Transformer: Reinforcement Learning via Sequence Modeling [102.86873656751489]
  本稿では,シーケンスモデリング問題として強化学習(RL)を抽象化するフレームワークを提案する。 本稿では,RLを条件付きシーケンスモデルとして扱うアーキテクチャであるDecision Transformerを提案する。 その単純さにもかかわらず、Decision Transformerは、Atari、OpenAI Gym、Key-to-Doorタスク上での最先端のオフラインRLベースラインのパフォーマンスと一致または超過する。
  論文  参考訳（メタデータ） (2021-06-02T17:53:39Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Multimodal VAE Active Inference Controller [0.0]
  本稿では,産業用アームのアクティブ推論トルク制御装置を提案する。 線形結合型マルチモーダル変分オートエンコーダを用いたマルチモーダル状態表現学習を含む。 結果は、表現力の増加による目標方向到達の追跡と制御の改善を示した。
  論文  参考訳（メタデータ） (2021-03-07T18:00:27Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。