論文の概要: Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling
- arxiv url: http://arxiv.org/abs/2402.18508v1
- Date: Wed, 28 Feb 2024 17:36:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:05:54.858572
- Title: Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling
- Title（参考訳）: Orchid: シーケンスモデリングのためのフレキシブルでデータ依存の畳み込み
- Authors: Mahdi Karami and Ali Ghodsi
- Abstract要約: 本稿では,新たなデータ依存畳み込み機構を導入することで,シーケンスモデリングを再現する新しいアーキテクチャであるOrchidを紹介する。
Orchidのコアにはデータ依存の畳み込み層があり、専用のコンディショニングニューラルネットワークを使用して、入力データに条件付けされたカーネルを動的に調整する。
言語モデリングや画像分類など,複数の領域にわたるOrchidを厳格に評価し,その性能と汎用性を示す。
- 参考スコア（独自算出の注目度）: 4.950918703901984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the rapidly evolving landscape of deep learning, the quest for models that
balance expressivity with computational efficiency has never been more
critical. This paper introduces Orchid, a novel architecture that reimagines
sequence modeling by incorporating a new data-dependent convolution mechanism.
Orchid is designed to address the inherent limitations of traditional attention
mechanisms, particularly their quadratic complexity, without compromising the
ability to capture long-range dependencies and in-context learning. At the core
of Orchid lies the data-dependent convolution layer, which dynamically adjusts
its kernel conditioned on input data using a dedicated conditioning neural
network. We design two simple conditioning networks that maintain shift
equivariance in the adaptive convolution operation. The dynamic nature of
data-dependent convolution kernel, coupled with gating operations, grants
Orchid high expressivity while maintaining efficiency and quasilinear
scalability for long sequences. We rigorously evaluate Orchid across multiple
domains, including language modeling and image classification, to showcase its
performance and generality. Our experiments demonstrate that Orchid
architecture not only outperforms traditional attention-based architectures
such as BERT and Vision Transformers with smaller model sizes, but also extends
the feasible sequence length beyond the limitations of the dense attention
layers. This achievement represents a significant step towards more efficient
and scalable deep learning models for sequence modeling.
- Abstract（参考訳）: ディープラーニングの急速な発展の中で、表現力と計算効率のバランスをとるモデルの探求は、決して重要ではない。
本稿では,新しいデータ依存畳み込み機構を取り入れ,シーケンスモデリングを再考する新しいアーキテクチャであるorchidを提案する。
Orchidは、長距離依存やコンテキスト内学習をキャプチャする能力を損なうことなく、従来の注意機構、特にその二次的な複雑さの固有の制限に対処するように設計されている。
orchidの中核はデータ依存畳み込み層であり、専用の条件付きニューラルネットワークを使用して、入力データに条件付けられたカーネルを動的に調整する。
適応畳み込み演算においてシフト等分散を維持する2つの単純な条件付きネットワークを設計する。
データ依存型畳み込みカーネルの動的性質は、ゲーティング操作と相まって、オーキッド高表現性を付与し、長いシーケンスの効率性と準線形スケーラビリティを維持する。
言語モデリングや画像分類など,複数の領域にわたるOrchidを厳格に評価し,その性能と汎用性を示す。
実験により,Orchid アーキテクチャは BERT や Vision Transformer などの従来の注目型アーキテクチャよりも小さいモデルサイズで性能を向上するだけでなく,高密度アテンション層の限界を超えて,実行可能なシーケンス長を延長することを示した。
この成果は、シーケンスモデリングのためのより効率的でスケーラブルなディープラーニングモデルに向けた重要なステップである。
関連論文リスト
- Adaptable Embeddings Network (AEN) [49.1574468325115]
我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。
AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。
アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
論文 参考訳（メタデータ） (2024-11-21T02:15:52Z) - Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes [4.787059527893628]
本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。
提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
論文 参考訳（メタデータ） (2024-09-18T14:49:25Z) - GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。
本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。
大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
論文 参考訳（メタデータ） (2024-06-04T15:09:29Z) - LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
自己保持機構の計算コストは、長いシーケンスの実用性を制限する。
我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。
LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
論文 参考訳（メタデータ） (2024-04-17T08:26:34Z) - Learning From Simplicial Data Based on Random Walks and 1D Convolutions [6.629765271909503]
ランダムウォークと高速1D畳み込みに基づく単純な複雑なニューラルネットワーク学習アーキテクチャ。
実世界のデータセット上でSCRaWlを実証的に評価し、他の単純なニューラルネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-04T13:27:22Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Multi-Scale Semantics-Guided Neural Networks for Efficient
Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。
MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-11-07T03:50:50Z) - Self-Attention for Audio Super-Resolution [0.0]
畳み込みと自己認識を組み合わせた超高解像度オーディオのためのネットワークアーキテクチャを提案する。
Attention-based Feature-Wise Linear Modulation (AFiLM) は、畳み込みモデルの活性化を変調するために、リカレントニューラルネットワークの代わりに自己アテンションメカニズムを使用する。
論文 参考訳（メタデータ） (2021-08-26T08:05:07Z) - DynamicEmbedding: Extending TensorFlow for Colossal-Scale Applications [0.0]
今日、スパースな特徴を持つディープラーニングモデルの制限の1つは、入力の事前定義された性質に起因している。
結果のモデルは、はるかに大きなスケールで、より良く、効率的に実行可能であることを示す。
論文 参考訳（メタデータ） (2020-04-17T17:43:51Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。