論文の概要: Modern Hopfield Networks and Attention for Immune Repertoire Classification

• arxiv url: http://arxiv.org/abs/2007.13505v1
• Date: Thu, 16 Jul 2020 20:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 23:00:35.943897
• Title: Modern Hopfield Networks and Attention for Immune Repertoire Classification
• Title（参考訳）: 近代ホップフィールドネットワークと免疫レパートリー分類への留意
• Authors: Michael Widrich, Bernhard Sch\"afl, Hubert Ramsauer, Milena Pavlovi\'c, Lukas Gruber, Markus Holzleitner, Johannes Brandstetter, Geir Kjetil Sandve, Victor Greiff, Sepp Hochreiter, G\"unter Klambauer
• Abstract要約: 変換器アーキテクチャの注意機構は,現代のホップフィールドネットワークの更新規則であることを示す。 計算生物学におけるMIL(Multiple Case Learning)の課題を解決するために,この高ストレージ容量を活用している。 本稿では,トランスフォーマーのような注目,すなわちホップフィールドネットワークをディープラーニングアーキテクチャに統合する新しい手法であるDeepRCを提案する。
• 参考スコア（独自算出の注目度）: 8.488102471604908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central mechanism in machine learning is to identify, store, and recognize patterns. How to learn, access, and retrieve such patterns is crucial in Hopfield networks and the more recent transformer architectures. We show that the attention mechanism of transformer architectures is actually the update rule of modern Hopfield networks that can store exponentially many patterns. We exploit this high storage capacity of modern Hopfield networks to solve a challenging multiple instance learning (MIL) problem in computational biology: immune repertoire classification. Accurate and interpretable machine learning methods solving this problem could pave the way towards new vaccines and therapies, which is currently a very relevant research topic intensified by the COVID-19 crisis. Immune repertoire classification based on the vast number of immunosequences of an individual is a MIL problem with an unprecedentedly massive number of instances, two orders of magnitude larger than currently considered problems, and with an extremely low witness rate. In this work, we present our novel method DeepRC that integrates transformer-like attention, or equivalently modern Hopfield networks, into deep learning architectures for massive MIL such as immune repertoire classification. We demonstrate that DeepRC outperforms all other methods with respect to predictive performance on large-scale experiments, including simulated and real-world virus infection data, and enables the extraction of sequence motifs that are connected to a given disease class. Source code and datasets: https://github.com/ml-jku/DeepRC
• Abstract（参考訳）: 機械学習の中心的なメカニズムは、パターンを識別、保存、認識することです。 このようなパターンを学習し、アクセスし、取得する方法は、ホップフィールドネットワークや最近のトランスフォーマーアーキテクチャにおいて極めて重要である。 変換器アーキテクチャの注意機構は、多くのパターンを指数的に保存できる現代のホップフィールドネットワークの更新ルールであることを示す。 計算生物学におけるMIL(Multiple Case Learning)問題(免疫レパートリー分類)を解決するために,現代のホップフィールドネットワークのこの高容量化を活用している。 この問題を解決する正確かつ解釈可能な機械学習手法は、新型コロナウイルスの危機によって強化された、現在非常に関連する研究トピックである、新しいワクチンや治療法への道を開く可能性がある。 個体の膨大な免疫配列に基づく免疫レパートリー分類は、前例のないほど多くの事例があり、現在考慮されている問題よりも2桁大きく、目撃率が極めて低いMIL問題である。 本稿では,トランスフォーマー的な注意,あるいは現代のホップフィールドネットワークを免疫レパートリー分類などの大規模なミルのための深層学習アーキテクチャに統合した新しいdeeprc法を提案する。 シミュレーションおよび実世界のウイルス感染データを含む大規模実験において、DeepRCは予測性能に関して他の方法よりも優れており、特定の病種に関連付けられたシーケンスモチーフの抽出を可能にする。 ソースコードとデータセット:https://github.com/ml-jku/DeepRC

関連論文リスト

• CAF-YOLO: A Robust Framework for Multi-Scale Lesion Detection in Biomedical Imagery [0.0682074616451595]
  CAF-YOLOは、畳み込みニューラルネットワーク(CNN)とトランスフォーマーの強みを活用する、医学的対象検出のための、巧妙で堅牢な方法である。 ACFMモジュールはグローバル機能とローカル機能の両方のモデリングを強化し、長期的な機能依存のキャプチャを可能にする。 MSNNは多様なスケールにまたがる特徴を抽出することで、マルチスケールの情報集約を改善する。
  論文  参考訳（メタデータ） (2024-08-04T01:44:44Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Keep It Simple: CNN Model Complexity Studies for Interference Classification Tasks [7.358050500046429]
  本研究は,データセットサイズ,CNNモデル複雑性,分類精度のトレードオフを,分類難度に応じて検討する。 3つの無線データセットをベースとした本研究では,パラメータの少ないより単純なCNNモデルと,より複雑なモデルが実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-06T17:53:42Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Self-Supervised Masked Convolutional Transformer Block for Anomaly Detection [122.4894940892536]
  本稿では, 自己監督型マスク型畳み込み変圧器ブロック (SSMCTB) について述べる。 本研究では,従来の自己教師型予測畳み込み抑止ブロック(SSPCAB)を3次元マスク付き畳み込み層,チャンネルワイドアテンション用トランスフォーマー,およびハマーロスに基づく新たな自己教師型目標を用いて拡張する。
  論文  参考訳（メタデータ） (2022-09-25T04:56:10Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• The emergence of a concept in shallow neural networks [0.0]
  我々は,定型だが不可能なアーチタイプを曖昧にコピーした非構造化データセット上で訓練された制限されたボルツマンマシン(RBM)を考える。」 RBMが古型を学習できる限界標本サイズが存在することを示す。
  論文  参考訳（メタデータ） (2021-09-01T15:56:38Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。