Fugu-MT 論文翻訳(概要): glassoformer: a query-sparse transformer for post-fault power grid voltage prediction

論文の概要: glassoformer: a query-sparse transformer for post-fault power grid voltage prediction

arxiv url: http://arxiv.org/abs/2201.09145v1
Date: Sat, 22 Jan 2022 23:29:54 GMT
ステータス: 処理完了
システム内更新日: 2022-01-25 17:12:33.450451
Title: glassoformer: a query-sparse transformer for post-fault power grid voltage prediction
Title（参考訳）: glassoformer: 電力グリッド後電圧予測のためのクエリスパース変換器
Authors: Yunling Zheng, Carson Hu, Guang Lin, Meng Yue, Bao Wang, Jack Xin
Abstract要約: 本稿では,グループラッソ正規化を利用した新規かつ効率的なトランスフォーマーアーキテクチャであるGLassoformerを提案する。 GLassoformerは、電源グリッド後電圧予測タスクにおいて、精度と安定性の観点から、既存の多くのベンチマークアルゴリズムよりも驚くほど優れた予測結果を示す。
参考スコア（独自算出の注目度）: 12.824059646788916
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose GLassoformer, a novel and efficient transformer architecture leveraging group Lasso regularization to reduce the number of queries of the standard self-attention mechanism. Due to the sparsified queries, GLassoformer is more computationally efficient than the standard transformers. On the power grid post-fault voltage prediction task, GLassoformer shows remarkably better prediction than many existing benchmark algorithms in terms of accuracy and stability.
Abstract（参考訳）: 本研究では,グループラッソ正則化を応用し,標準自己着脱機構のクエリ数を削減する,新規で効率的な変圧器アーキテクチャであるglassoformerを提案する。クエリが分散しているため、GLassoformerは標準変換器よりも計算効率が良い。 GLassoformerは、電源グリッド後電圧予測タスクにおいて、精度と安定性の観点から、既存の多くのベンチマークアルゴリズムよりも驚くほど優れた予測結果を示す。

関連論文リスト

Do Efficient Transformers Really Save Computation? [32.919672616480135]
我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
論文参考訳（メタデータ） (2024-02-21T17:00:56Z)
ALBERTA: ALgorithm-Based Error Resilience in Transformer Architectures [5.502117675161604]
ビジョントランスフォーマーは、信頼性の高い安全クリティカルなアプリケーションにますますデプロイされている。過渡的ハードウェアエラーのような潜在的なエラーにもかかわらず、実行の正確性を保証することが不可欠である。アルゴリズムベースのレジリエンスフレームワークであるALBERTAを提案する。
論文参考訳（メタデータ） (2023-10-05T18:55:30Z)
The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers [0.0]
我々は、ドット生成物とソフトマックスに基づく注意を、加算とReLU活性化のみを含む別のメカニズムに置き換える。これは行列乗法でしばしば必要とされる倍精度への拡張をサイドステップとし、コストのかかるソフトマックス評価を避ける。より効率的な実行を可能にし、リソース制約のあるハードウェアや同型暗号のような代替の算術システム上で、より大きな量子化トランスフォーマーモデルをサポートする。
論文参考訳（メタデータ） (2023-10-03T13:34:21Z)
Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。本稿では,共形予測を連邦学習環境に拡張する。本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文参考訳（メタデータ） (2023-05-27T19:57:27Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
論文参考訳（メタデータ） (2022-02-15T10:47:11Z)
Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
論文参考訳（メタデータ） (2021-10-25T16:43:32Z)
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search [84.94597821711808]
我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
論文参考訳（メタデータ） (2020-10-14T12:28:08Z)
The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
論文参考訳（メタデータ） (2020-05-05T23:32:01Z)
Robustness Verification for Transformers [165.25112192811764]
我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
論文参考訳（メタデータ） (2020-02-16T17:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。