論文の概要: Ontology Pre-training for Poison Prediction

• arxiv url: http://arxiv.org/abs/2301.08577v1
• Date: Fri, 20 Jan 2023 13:47:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-23 13:11:13.904216
• Title: Ontology Pre-training for Poison Prediction
• Title（参考訳）: 毒物予測のためのオントロジ事前学習
• Authors: Martin Glauer, Fabian Neuhaus, Till Mossakowski, Janna Hastings
• Abstract要約: 我々はトランスフォーマーネットワークの構造に知識を統合する新しい手法を開発した。 このモデルでは,事前学習で予測を行う上で,より有意義なグループに焦点を当てることが学べることが示されている。 この戦略は、意味論的セマンティクスをニューラルネットワークに組み込むニューラルシンボリックアプローチとして、一般的な適用性を持っている。
• 参考スコア（独自算出の注目度）: 0.5161531917413706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Integrating human knowledge into neural networks has the potential to improve their robustness and interpretability. We have developed a novel approach to integrate knowledge from ontologies into the structure of a Transformer network which we call ontology pre-training: we train the network to predict membership in ontology classes as a way to embed the structure of the ontology into the network, and subsequently fine-tune the network for the particular prediction task. We apply this approach to a case study in predicting the potential toxicity of a small molecule based on its molecular structure, a challenging task for machine learning in life sciences chemistry. Our approach improves on the state of the art, and moreover has several additional benefits. First, we are able to show that the model learns to focus attention on more meaningful chemical groups when making predictions with ontology pre-training than without, paving a path towards greater robustness and interpretability. Second, the training time is reduced after ontology pre-training, indicating that the model is better placed to learn what matters for toxicity prediction with the ontology pre-training than without. This strategy has general applicability as a neuro-symbolic approach to embed meaningful semantics into neural networks.
• Abstract（参考訳）: 人間の知識をニューラルネットワークに統合することは、その堅牢性と解釈性を改善する可能性がある。 我々は、オントロジーの知識をオントロジー事前学習と呼ぶトランスフォーマーネットワークの構造に統合する新しいアプローチを開発し、オントロジーの構造をネットワークに埋め込む方法としてオントロジークラスのメンバシップを予測するネットワークをトレーニングし、その後、特定の予測タスクのためにネットワークを微調整する。 このアプローチを,分子構造に基づく小分子の潜在的毒性を予測するためのケーススタディに適用し,生命科学化学における機械学習の課題とした。 われわれのアプローチは、最先端の技術を改良し、さらにいくつかのメリットがある。 第一に、モデルがより強固さと解釈可能性を高めるために、オントロジーの事前学習によって予測を行う際に、より有意義な化学グループに注意を向けることを学ぶことを示すことができる。 第2に、オントロジー事前学習の後にトレーニング時間を短縮し、オントロジー事前学習で毒性予測に何が必要かを学ぶためにモデルが適していることを示す。 この戦略は、意味論的セマンティクスをニューラルネットワークに組み込むニューラルシンボリックアプローチとして、一般的な適用性を持っている。

関連論文リスト

• Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
  実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。 結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
  論文  参考訳（メタデータ） (2024-10-09T21:37:14Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Topological Continual Learning with Wasserstein Distance and Barycenter [0.0]
  ニューラルネットワークにおける継続的な学習は、破滅的な忘れという現象に悩まされる。 トレーニング中にニューラルネットワークのサイクル構造をペナライズする新しいトポロジカル正規化を提案する。 提案手法は,複数の画像分類データセットに対して,浅層および深層ネットワークアーキテクチャの両方に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T03:46:20Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On the relationship between predictive coding and backpropagation [0.0]
  予測符号化は、ニューラルネットワークのトレーニングのためのバックプロパゲーションに代わる、潜在的に生物学的に現実的な代替物として提案されている。 この原稿は、教師付き学習タスクにおけるフィードフォワード人工ニューラルネットワークのトレーニングにおける予測符号化とバックプロパゲーションの数学的関係に関する最近の研究をレビューし、拡張している。
  論文  参考訳（メタデータ） (2021-06-20T18:22:50Z)
• Explainable artificial intelligence for mechanics: physics-informing neural networks for constitutive models [0.0]
  メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。 本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。 これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
  論文  参考訳（メタデータ） (2021-04-20T18:38:52Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。