論文の概要: Residual Attention Net for Superior Cross-Domain Time Sequence Modeling
- arxiv url: http://arxiv.org/abs/2001.04077v1
- Date: Mon, 13 Jan 2020 06:14:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 22:49:28.251790
- Title: Residual Attention Net for Superior Cross-Domain Time Sequence Modeling
- Title(参考訳): 優れたクロスドメイン時系列モデリングのための残留注意ネット
- Authors: Seth H. Huang, Xu Lingjie, Jiang Congwei
- Abstract要約: 本稿では新しいアーキテクチャのコンセプト実証として機能し、RANはモデルにシーケンスパターンのより高レベルな理解を提供することを目的としている。
その結果,35の最先端結果が得られたが,10の結果が現在の最先端結果と一致し,さらなるモデル微調整は行われなかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel architecture, residual attention net (RAN), which merges a
sequence architecture, universal transformer, and a computer vision
architecture, residual net, with a high-way architecture for cross-domain
sequence modeling. The architecture aims at addressing the long dependency
issue often faced by recurrent-neural-net-based structures. This paper serves
as a proof-of-concept for a new architecture, with RAN aiming at providing the
model a higher level understanding of sequence patterns. To our best knowledge,
we are the first to propose such an architecture. Out of the standard 85 UCR
data sets, we have achieved 35 state-of-the-art results with 10 results
matching current state-of-the-art results without further model fine-tuning.
The results indicate that such architecture is promising in complex,
long-sequence modeling and may have vast, cross-domain applications.
- Abstract(参考訳): 本稿では,シーケンスアーキテクチャとユニバーサルトランスフォーマー,コンピュータビジョンアーキテクチャを融合した新しいアーキテクチャであるsusent attention net (ran) と,クロスドメインシーケンスモデリングのためのハイウェイアーキテクチャであるsusent netを提案する。
このアーキテクチャは、リカレントニューラルネットベースの構造によってしばしば直面する長い依存性の問題に対処することを目的としている。
本稿では新しいアーキテクチャのコンセプト実証として機能し、RANはモデルにシーケンスパターンの高レベルな理解を提供することを目的としている。
私たちの知る限りでは、このようなアーキテクチャを最初に提案するのは私たちです。
標準の85 UCRデータセットのうち、35の最先端結果と10の成果が、さらなるモデル微調整をせずに一致した。
その結果、そのようなアーキテクチャは複雑で長期のモデリングにおいて有望であり、広大なクロスドメインアプリケーションを持つ可能性があることが示唆された。
関連論文リスト
- Multi-conditioned Graph Diffusion for Neural Architecture Search [8.894253962956366]
本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。
6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
論文 参考訳(メタデータ) (2024-03-09T21:45:31Z) - The autoregressive neural network architecture of the Boltzmann
distribution of pairwise interacting spins systems [0.0]
Generative Autoregressive Neural Networks (ARNN) は画像および言語生成タスクにおいて例外的な結果を示した。
この研究は、二対対相互作用系のボルツマン分布を自己回帰形式に再構成することにより、ARNNの物理的解釈を示す。
論文 参考訳(メタデータ) (2023-02-16T15:05:37Z) - DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。
本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。
本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文 参考訳(メタデータ) (2023-01-30T14:02:33Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳(メタデータ) (2021-08-10T00:53:39Z) - Operation Embeddings for Neural Architecture Search [15.033712726016255]
最適化プロセスにおいて、固定演算子エンコーディングを学習可能な表現に置き換えることを提案する。
本手法は,同様の操作とグラフパターンを共有するトップパフォーマンスアーキテクチャを生成する。
論文 参考訳(メタデータ) (2021-05-11T09:17:10Z) - Inter-layer Transition in Neural Architecture Search [89.00449751022771]
本論文では、連結エッジのアーキテクチャ重み間の依存性を明示的にモデル化する。
5つのベンチマーク実験により、層間依存性のモデル化の価値を確認し、提案手法が最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-11-30T03:33:52Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳(メタデータ) (2020-04-23T14:16:39Z) - Hierarchical Conditional Relation Networks for Video Question Answering [62.1146543269993]
条件関係ネットワーク(CRN)と呼ばれる汎用再利用可能なニューラルネットワークユニットを導入する。
CRNは、ビデオ上での表現と推論のためのより洗練された構造を構築するためのビルディングブロックとして機能する。
その結果,ビデオQAのような複雑なドメインに対する汎用推論ユニットの構築の影響が示された。
論文 参考訳(メタデータ) (2020-02-25T07:00:48Z) - Stacked Boosters Network Architecture for Short Term Load Forecasting in
Buildings [0.0]
本稿では,建築エネルギー負荷の短期的負荷予測のための新しいディープラーニングアーキテクチャを提案する。
このアーキテクチャは、単純なベースラーナーと、単一のディープニューラルネットワークとしてモデル化された複数のブースティングシステムに基づいている。
このアーキテクチャは、フィンランドのオフィスビルのエネルギーデータを用いて、短期的な負荷予測タスクで評価される。
論文 参考訳(メタデータ) (2020-01-23T08:35:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。