論文の概要: Beyond Chemical 1D knowledge using Transformers

• arxiv url: http://arxiv.org/abs/2010.01027v2
• Date: Wed, 7 Oct 2020 08:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 02:35:15.808684
• Title: Beyond Chemical 1D knowledge using Transformers
• Title（参考訳）: トランスを用いた化学1次元知識の超越
• Authors: Ruud van Deursen, Igor V. Tetko, Guillaume Godin
• Abstract要約: 我々は,最近のTransformer-CNNモデルの有効性を評価し,拡張ステレオケミカルSMILESに基づく目標特性の予測を行った。 SMILESでは, ステレオ化学情報がない場合, Transformer-CNNモデルの性能低下は見られなかった。 Transformer-CNNがSMILES入力から3Dの知識を効率的に埋め込むことができるのか、また、より良い表現がこのアプローチの精度をさらに高めるのかは、未解決のままである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the present paper we evaluated efficiency of the recent Transformer-CNN models to predict target properties based on the augmented stereochemical SMILES. We selected a well-known Cliff activity dataset as well as a Dipole moment dataset and compared the effect of three representations for R/S stereochemistry in SMILES. The considered representations were SMILES without stereochemistry (noChiSMI), classical relative stereochemistry encoding (RelChiSMI) and an alternative version with absolute stereochemistry encoding (AbsChiSMI). The inclusion of R/S in SMILES representation allowed simplify the assignment of the respective information based on SMILES representation, but did not always show advantages on regression or classification tasks. Interestingly, we did not see degradation of the performance of Transformer-CNN models when the stereochemical information was not present in SMILES. Moreover, these models showed higher or similar performance compared to descriptor-based models based on 3D structures. These observations are an important step in NLP modeling of 3D chemical tasks. An open challenge remains whether Transformer-CNN can efficiently embed 3D knowledge from SMILES input and whether a better representation could further increase the accuracy of this approach.
• Abstract（参考訳）: 本稿では,最近のTransformer-CNNモデルの有効性を評価し,拡張ステレオ化学SMILESに基づく目標特性の予測を行った。 既知のクリフ活動データセットと双極子モーメントデータセットを選択し,r/s立体化学に対する3つの表現の効果を笑顔で比較した。 立体化学のないSMILES(noChiSMI)、古典的相対的立体化学符号化(RelChiSMI)、絶対的立体化学符号化(AbsChiSMI)である。 SMILES表現にR/Sを組み込むことで、SMILES表現に基づく各情報の割り当てが簡単になったが、回帰処理や分類処理では必ずしも優位性を示しなかった。 SMILESではステレオ化学情報が存在しないため,Transformer-CNNモデルの性能低下は見られなかった。 さらに,これらのモデルは3d構造に基づくディスクリプタベースモデルと比較して高い性能あるいは類似性を示した。 これらの観察は3次元化学タスクのNLPモデリングにおける重要なステップである。 Transformer-CNNがSMILES入力から3Dの知識を効率的に埋め込むことができるのか、また、より良い表現がこのアプローチの精度をさらに高めるのかは、未解決のままである。

関連論文リスト

• SMPLer: Taming Transformers for Monocular 3D Human Shape and Pose Estimation [74.07836010698801]
  この問題に対処するために,SMPLベースのトランスフォーマーフレームワーク(SMPLer)を提案する。 SMPLerは、切り離された注意操作とSMPLベースのターゲット表現の2つの重要な要素を組み込んでいる。 SMPLerの既存の3次元人体形状に対する効果とポーズ推定方法の実証実験を行った。
  論文  参考訳（メタデータ） (2024-04-23T17:59:59Z)
• 3D-CLMI: A Motor Imagery EEG Classification Model via Fusion of 3D-CNN and LSTM with Attention [0.174048653626208]
  本稿では,3次元畳み込みニューラルネットワーク(CNN)と長期記憶ネットワーク(LSTM)を組み合わせて運動画像(MI)信号を分類するモデルを提案する。 実験の結果、このモデルは、BCIコンペティションIVデータセット2aの分類精度92.7%、F1スコア0.91に達した。 このモデルにより、ユーザの運動像意図の分類精度が大幅に向上し、自律走行車や医療リハビリテーションといった新興分野における脳-コンピュータインタフェースの応用可能性が改善された。
  論文  参考訳（メタデータ） (2023-12-20T03:38:24Z)
• MeT: A Graph Transformer for Semantic Segmentation of 3D Meshes [10.667492516216887]
  本稿では3次元メッシュのセマンティックセグメンテーションのためのトランスフォーマーに基づく手法を提案する。 隣接行列のラプラシア固有ベクトルを用いて位置符号化を行う。 提案手法は,3次元メッシュのセマンティックセグメンテーションにおける最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-07-03T15:45:14Z)
• Comparative study of Transformer and LSTM Network with attention mechanism on Image Captioning [0.0]
  本研究ではTransformerとLSTMをMS-COCOデータセットのアテンションブロックモデルと比較する。 注目ブロックモデルを用いたトランスフォーマーとLSTMについて,その精度について検討した。
  論文  参考訳（メタデータ） (2023-03-05T11:45:53Z)
• One Transformer Can Understand Both 2D & 3D Molecular Data [94.93514673086631]
  我々はTransformer-Mと呼ばれる新しい分子モデルを開発した。 入力として2Dまたは3Dフォーマットの分子データを取り込み、意味のある意味表現を生成する。 実験の結果,Transformer-Mは2次元および3次元のタスクで高い性能を同時に達成できることがわかった。
  論文  参考訳（メタデータ） (2022-10-04T17:30:31Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• SVoRT: Iterative Transformer for Slice-to-Volume Registration in Fetal Brain MRI [5.023544755441559]
  合成変換データに基づいて学習したトランスフォーマーを用いた新しいスライス・ツー・ボリューム登録法を提案する。 本モデルでは,スライス間の関係を自動的に検出し,他のスライス情報を用いてスライス間の変換を予測する。 また, 重度胎児運動下での3次元再構成の精度向上のためのモデルの有効性を示すために, 実世界のMRIデータを用いた実験を行った。
  論文  参考訳（メタデータ） (2022-06-22T01:55:42Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Permutation invariant graph-to-sequence model for template-free retrosynthesis and reaction prediction [2.5655440962401617]
  本稿では,テキスト生成のためのトランスフォーマーモデルのパワーと,分子グラフエンコーダの置換不変性を組み合わせた新しいGraph2SMILESモデルについて述べる。 エンドツーエンドアーキテクチャとして、Graph2SMILESは、分子から分子への変換を含むあらゆるタスクにおいて、Transformerのドロップイン置換として使用できる。
  論文  参考訳（メタデータ） (2021-10-19T01:23:15Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。