論文の概要: SAMN: A Sample Attention Memory Network Combining SVM and NN in One Architecture

• arxiv url: http://arxiv.org/abs/2309.13930v1
• Date: Mon, 25 Sep 2023 08:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 16:42:26.222369
• Title: SAMN: A Sample Attention Memory Network Combining SVM and NN in One Architecture
• Title（参考訳）: SAMN: SVMとNNをひとつのアーキテクチャで結合したサンプルアテンションメモリネットワーク
• Authors: Qiaoling Yang, Linkai Luo, Haoyu Zhang, Hong Peng, Ziyang Chen
• Abstract要約: サポートベクトルマシン(SVM)とニューラルネットワーク(NN)は強い相補性を持つ。 SVMやNN単独よりも強力な機能を提供する可能性があるため、SVMとNNを組み合わせることは有望で魅力的である。 本稿では,サンプルアテンションモジュール,クラスプロトタイプ,メモリブロックをNNに組み込むことで,SVMとNNを効果的に組み合わせたサンプルアテンションメモリネットワーク(SAMN)を提案する。
• 参考スコア（独自算出の注目度）: 16.300527314251358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Support vector machine (SVM) and neural networks (NN) have strong complementarity. SVM focuses on the inner operation among samples while NN focuses on the operation among the features within samples. Thus, it is promising and attractive to combine SVM and NN, as it may provide a more powerful function than SVM or NN alone. However, current work on combining them lacks true integration. To address this, we propose a sample attention memory network (SAMN) that effectively combines SVM and NN by incorporating sample attention module, class prototypes, and memory block to NN. SVM can be viewed as a sample attention machine. It allows us to add a sample attention module to NN to implement the main function of SVM. Class prototypes are representatives of all classes, which can be viewed as alternatives to support vectors. The memory block is used for the storage and update of class prototypes. Class prototypes and memory block effectively reduce the computational cost of sample attention and make SAMN suitable for multi-classification tasks. Extensive experiments show that SAMN achieves better classification performance than single SVM or single NN with similar parameter sizes, as well as the previous best model for combining SVM and NN. The sample attention mechanism is a flexible module that can be easily deepened and incorporated into neural networks that require it.
• Abstract（参考訳）: サポートベクトルマシン(SVM)とニューラルネットワーク(NN)は強い相補性を持つ。 SVMはサンプル間の内部操作にフォーカスし、NNはサンプル内の機能間の操作にフォーカスする。 したがって、SVMやNN単独よりも強力な機能を提供する可能性があるため、SVMとNNを組み合わせることは有望で魅力的である。 しかし、それらを組み合わせるための現在の作業は、真の統合を欠いている。 そこで本研究では,サンプルアテンションモジュール,クラスプロトタイプ,メモリブロックをNNに組み込むことで,SVMとNNを効果的に組み合わせたサンプルアテンションメモリネットワーク(SAMN)を提案する。 SVMはサンプルアテンションマシンと見なすことができる。 SVMの主な機能を実装するために、NNにサンプルアテンションモジュールを追加することができます。 クラスプロトタイプはすべてのクラスの代表であり、サポートベクターの代替品と見なすことができる。 メモリブロックはクラスプロトタイプのストレージと更新に使用される。 クラスプロトタイプとメモリブロックは、サンプル注意の計算コストを効果的に削減し、SAMNをマルチクラス化タスクに適合させる。 大規模な実験により、SAMNはSVMとNNを組み合わせるための以前の最良のモデルと同様に、類似のパラメータサイズを持つ単一SVMや単一NNよりも優れた分類性能が得られることが示された。 サンプルアテンションメカニズムはフレキシブルモジュールで、それを必要とするようなニューラルネットワークに簡単に深く組み込むことができる。

関連論文リスト

• Local Binary and Multiclass SVMs Trained on a Quantum Annealer [0.8399688944263844]
  近年,動作量子アンニールの出現に伴い,量子トレーニングと古典的実行を特徴とするハイブリッドSVMモデルが導入されている。 これらのモデルは、古典的なモデルに匹敵する性能を示した。 しかし、現在の量子アニールの接続が制限されているため、トレーニングセットサイズに制限がある。
  論文  参考訳（メタデータ） (2024-03-13T14:37:00Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Learning from Small Samples: Transformation-Invariant SVMs with Composition and Locality at Multiple Scales [11.210266084524998]
  本稿では、畳み込みニューラルネットワーク(CNN)を成功させた、サポートベクターマシン(SVM)に組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-09-27T04:02:43Z)
• NN-EVCLUS: Neural Network-based Evidential Clustering [6.713564212269253]
  本稿では,NN-EVCLUSと呼ばれるニューラルネットワークに基づく明確なクラスタリングアルゴリズムを提案する。 属性ベクトルから質量関数への写像を学習し、より類似した入力がより低い競合度を持つ質量関数の出力にマッピングされるようにする。 ネットワークは、すべてのオブジェクトまたはいくつかのオブジェクトペアの相違点と相反点の差を最小限に抑えるように訓練されている。
  論文  参考訳（メタデータ） (2020-09-27T09:05:41Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Convolutional Support Vector Machine [1.5990720051907859]
  本稿では、より小さなデータセットをマイニングする精度と有効性を改善するために、CNNとSVMの両方の利点を持つ新しい畳み込みSVM(CSVM)を提案する。 提案したCSVMの性能を評価するため,分類問題に対する5つのよく知られたベンチマークデータベースをテストする実験を行った。
  論文  参考訳（メタデータ） (2020-02-11T11:23:21Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。