論文の概要: Residual Attention Net for Superior Cross-Domain Time Sequence Modeling

• arxiv url: http://arxiv.org/abs/2001.04077v1
• Date: Mon, 13 Jan 2020 06:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 22:49:28.251790
• Title: Residual Attention Net for Superior Cross-Domain Time Sequence Modeling
• Title（参考訳）: 優れたクロスドメイン時系列モデリングのための残留注意ネット
• Authors: Seth H. Huang, Xu Lingjie, Jiang Congwei
• Abstract要約: 本稿では新しいアーキテクチャのコンセプト実証として機能し、RANはモデルにシーケンスパターンのより高レベルな理解を提供することを目的としている。 その結果,35の最先端結果が得られたが,10の結果が現在の最先端結果と一致し,さらなるモデル微調整は行われなかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel architecture, residual attention net (RAN), which merges a sequence architecture, universal transformer, and a computer vision architecture, residual net, with a high-way architecture for cross-domain sequence modeling. The architecture aims at addressing the long dependency issue often faced by recurrent-neural-net-based structures. This paper serves as a proof-of-concept for a new architecture, with RAN aiming at providing the model a higher level understanding of sequence patterns. To our best knowledge, we are the first to propose such an architecture. Out of the standard 85 UCR data sets, we have achieved 35 state-of-the-art results with 10 results matching current state-of-the-art results without further model fine-tuning. The results indicate that such architecture is promising in complex, long-sequence modeling and may have vast, cross-domain applications.
• Abstract（参考訳）: 本稿では,シーケンスアーキテクチャとユニバーサルトランスフォーマー,コンピュータビジョンアーキテクチャを融合した新しいアーキテクチャであるsusent attention net (ran) と,クロスドメインシーケンスモデリングのためのハイウェイアーキテクチャであるsusent netを提案する。 このアーキテクチャは、リカレントニューラルネットベースの構造によってしばしば直面する長い依存性の問題に対処することを目的としている。 本稿では新しいアーキテクチャのコンセプト実証として機能し、RANはモデルにシーケンスパターンの高レベルな理解を提供することを目的としている。 私たちの知る限りでは、このようなアーキテクチャを最初に提案するのは私たちです。 標準の85 UCRデータセットのうち、35の最先端結果と10の成果が、さらなるモデル微調整をせずに一致した。 その結果、そのようなアーキテクチャは複雑で長期のモデリングにおいて有望であり、広大なクロスドメインアプリケーションを持つ可能性があることが示唆された。

関連論文リスト

• Multi-conditioned Graph Diffusion for Neural Architecture Search [8.290336491323796]
  本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。 6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
  論文  参考訳（メタデータ） (2024-03-09T21:45:31Z)
• Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
  本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。 このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。 言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
  論文  参考訳（メタデータ） (2024-02-28T17:36:45Z)
• The autoregressive neural network architecture of the Boltzmann distribution of pairwise interacting spins systems [0.0]
  Generative Autoregressive Neural Networks (ARNN) は画像および言語生成タスクにおいて例外的な結果を示した。 この研究は、二対対相互作用系のボルツマン分布を自己回帰形式に正確にマッピングする。 得られたARNNアーキテクチャは、ハミルトンのカップリングと外部フィールドに対応する第1層の重みとバイアスを持つ。
  論文  参考訳（メタデータ） (2023-02-16T15:05:37Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Operation Embeddings for Neural Architecture Search [15.033712726016255]
  最適化プロセスにおいて、固定演算子エンコーディングを学習可能な表現に置き換えることを提案する。 本手法は,同様の操作とグラフパターンを共有するトップパフォーマンスアーキテクチャを生成する。
  論文  参考訳（メタデータ） (2021-05-11T09:17:10Z)
• Inter-layer Transition in Neural Architecture Search [89.00449751022771]
  本論文では、連結エッジのアーキテクチャ重み間の依存性を明示的にモデル化する。 5つのベンチマーク実験により、層間依存性のモデル化の価値を確認し、提案手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-30T03:33:52Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• Hierarchical Conditional Relation Networks for Video Question Answering [62.1146543269993]
  条件関係ネットワーク(CRN)と呼ばれる汎用再利用可能なニューラルネットワークユニットを導入する。 CRNは、ビデオ上での表現と推論のためのより洗練された構造を構築するためのビルディングブロックとして機能する。 その結果,ビデオQAのような複雑なドメインに対する汎用推論ユニットの構築の影響が示された。
  論文  参考訳（メタデータ） (2020-02-25T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。