論文の概要: Efficient Training of Transformers for Molecule Property Prediction on Small-scale Datasets

• arxiv url: http://arxiv.org/abs/2409.04909v1
• Date: Sat, 7 Sep 2024 21:07:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 20:10:34.445457
• Title: Efficient Training of Transformers for Molecule Property Prediction on Small-scale Datasets
• Title（参考訳）: 大規模データセット上での分子特性予測のための変圧器の効率的な訓練
• Authors: Shivesh Prakash,
• Abstract要約: 血液脳関門(BBB)は、脳を循環系から分離する保護障壁として機能する。 BBB透過性を測定する従来の実験手法は、大規模スクリーニングでは困難で実用的ではない。 本稿では,低データ方式のGPSトランスフォーマーアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The blood-brain barrier (BBB) serves as a protective barrier that separates the brain from the circulatory system, regulating the passage of substances into the central nervous system. Assessing the BBB permeability of potential drugs is crucial for effective drug targeting. However, traditional experimental methods for measuring BBB permeability are challenging and impractical for large-scale screening. Consequently, there is a need to develop computational approaches to predict BBB permeability. This paper proposes a GPS Transformer architecture augmented with Self Attention, designed to perform well in the low-data regime. The proposed approach achieved a state-of-the-art performance on the BBB permeability prediction task using the BBBP dataset, surpassing existing models. With a ROC-AUC of 78.8%, the approach sets a state-of-the-art by 5.5%. We demonstrate that standard Self Attention coupled with GPS transformer performs better than other variants of attention coupled with GPS Transformer.
• Abstract（参考訳）: 血液脳関門(BBB)は、脳を循環系から分離する保護障壁として機能し、物質の中枢神経系への通過を調節する。 潜在的な薬物のBBB透過性を評価することは、効果的な薬物ターゲティングに不可欠である。 しかし, BBB透水性測定の従来の実験手法は, 大規模検層では困難であり, 実用的ではない。 したがって,BBB透過性を予測する計算手法を開発する必要がある。 本稿では,低データ方式のGPSトランスフォーマーアーキテクチャを提案する。 提案手法は,BBBPデータセットを用いたBBB透水性予測タスクにおいて,既存のモデルを上回る最先端性能を実現した。 ROC-AUCは78.8%であり、最先端は5.5%と設定されている。 我々は,GPSトランスを併用した標準的なセルフアテンションが,GPSトランスと組み合わせた他のタイプのアテンションよりも優れた性能を示すことを示した。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• iFuzzyTL: Interpretable Fuzzy Transfer Learning for SSVEP BCI System [24.898026682692688]
  本研究では,解釈可能なファジィ変換学習(iFuzzyTL)を利用した高度な分類手法について検討する。 iFuzzyTLは、ファジィ推論システムとアテンション機構を統合することで、人間の解釈可能な形式で入力信号処理と分類を洗練する。 モデルの有効性は3つのデータセットで示される。
  論文  参考訳（メタデータ） (2024-10-16T06:07:23Z)
• Applying Dimensionality Reduction as Precursor to LSTM-CNN Models for Classifying Imagery and Motor Signals in ECoG-Based BCIs [0.0]
  本研究は,脳-コンピュータインタフェース(BCI)内での運動画像分類アルゴリズムを最適化することにより,領域を拡大することを目的とする。 我々は、次元削減のための教師なし手法、すなわち、一様多様体近似と投影(UMAP)とK-Nearest Neighbors(KNN)を利用する。 また,Long Short-Term Memory (LSTM) やConvolutional Neural Networks (CNN) といった教師付き手法を,分類タスクに活用することの必要性も評価した。
  論文  参考訳（メタデータ） (2023-11-22T16:34:06Z)
• EKGNet: A 10.96{\mu}W Fully Analog Neural Network for Intra-Patient Arrhythmia Classification [79.7946379395238]
  心電図不整脈分類におけるアナログ計算と深層学習を組み合わせた統合的アプローチを提案する。 本稿では,低消費電力で高精度にアーカイブするハードウェア効率と完全アナログ不整脈分類アーキテクチャであるEKGNetを提案する。
  論文  参考訳（メタデータ） (2023-10-24T02:37:49Z)
• Non-Generative Energy Based Models [3.1447898427012473]
  エネルギーベースモデル(EBM)はコンピュータビジョンの中でますます人気が高まっている。 我々は、非生成的トレーニングアプローチ、非生成的EMM(NG-EBM)を提案する。 我々のNG-EBMトレーニング戦略は、校正、アウト・オブ・ディストリビューション検出、対向抵抗におけるEMMの利点の多くを保っていることを示す。
  論文  参考訳（メタデータ） (2023-04-03T18:47:37Z)
• A Computer Vision Enabled damage detection model with improved YOLOv5 based on Transformer Prediction Head [0.0]
  現在の最先端ディープラーニング(DL)に基づく損傷検出モデルは、複雑でノイズの多い環境では優れた特徴抽出能力を欠いていることが多い。 DenseSPH-YOLOv5は、DenseNetブロックをバックボーンに統合したリアルタイムDLベースの高性能損傷検出モデルである。 DenseSPH-YOLOv5は平均平均精度(mAP)が85.25%、F1スコアが81.18%、精度(P)が89.51%である。
  論文  参考訳（メタデータ） (2023-03-07T22:53:36Z)
• Diffusion Denoising Process for Perceptron Bias in Out-of-distribution Detection [67.49587673594276]
  我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。 DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。 CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-21T08:45:08Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Neural Moving Horizon Estimation for Robust Flight Control [6.023276947115864]
  外乱の予測と反応は、四角形機の堅牢な飛行制御に不可欠である。 ニューラルネットワークによってモデル化されたMHEパラメータを自動的に調整できるニューロ移動地平線推定器(NeuroMHE)を提案する。 NeuroMHEは出力推定誤差を最大49.4%削減した最先端の推定器より優れている。
  論文  参考訳（メタデータ） (2022-06-21T13:43:24Z)
• EEG-Inception: An Accurate and Robust End-to-End Neural Network for EEG-based Motor Imagery Classification [123.93460670568554]
  本稿では,脳波に基づく運動画像(MI)分類のための新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 提案したCNNモデル、すなわちEEG-Inceptionは、Inception-Timeネットワークのバックボーン上に構築されている。 提案するネットワークは、生のEEG信号を入力とし、複雑なEEG信号前処理を必要としないため、エンドツーエンドの分類である。
  論文  参考訳（メタデータ） (2021-01-24T19:03:10Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。