論文の概要: Unlocking Chemical Insights: Superior Molecular Representations from Intermediate Encoder Layers

• arxiv url: http://arxiv.org/abs/2506.06443v1
• Date: Fri, 06 Jun 2025 18:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.275761
• Title: Unlocking Chemical Insights: Superior Molecular Representations from Intermediate Encoder Layers
• Title（参考訳）: アンロック化ケミカルインサイト:中間エンコーダ層からの分子表現
• Authors: Luis Pinto,
• Abstract要約: 我々は、22個のADMET特性予測タスクにまたがる5種類の分子エンコーダの包括的解析を行う。 最適中間層からの固定埋め込みを用いることで、下流の性能は平均5.4%向上した。 これらの中間層への微調整により平均改善率は8.5%となり、性能は40.8%まで向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained molecular encoders have become indispensable in computational chemistry for tasks such as property prediction and molecular generation. However, the standard practice of relying solely on final-layer embeddings for downstream tasks may discard valuable information. In this work, we challenge this convention by conducting a comprehensive layer-wise analysis of five diverse molecular encoders across 22 ADMET property prediction tasks. Our results demonstrate that embeddings from intermediate layers consistently outperform final-layer representations. Specifically, using fixed embeddings from the optimal intermediate layers improved downstream performance by an average of 5.4%, reaching gains up to 28.6%. Furthermore, finetuning up to these intermediate layers yielded even greater average improvements of 8.5%, with performance increases as high as 40.8%, achieving new state-of-the-art results on several benchmarks. Additionally, a strong positive correlation between fixed embedding performance and finetuning outcomes supports an efficient evaluate-then-finetune approach, enabling identification of optimal layers with reduced computational cost. These findings highlight the importance of exploring the full representational depth of molecular encoders to achieve substantial performance improvements and computational efficiency. The code is made publicly available at https://github.com/luispintoc/Unlocking-Chemical-Insights.
• Abstract（参考訳）: 制約された分子エンコーダは、特性予測や分子生成といったタスクにおいて計算化学において欠かせないものとなっている。 しかし、下流タスクのための最終層埋め込みにのみ依存するという標準的な慣行は、貴重な情報を捨てる可能性がある。 本研究では,22個のADMET特性予測タスクにまたがる5種類の分子エンコーダを網羅的に階層的に解析することで,この問題に対処する。 その結果,中間層からの埋め込みは最終層表現よりも一貫して優れていた。 具体的には、最適な中間層からの固定埋め込みを使用することで、下流の性能は平均5.4%向上し、28.6%まで向上した。 さらに、これらの中間層への微調整により、パフォーマンスが最大40.8%向上し、いくつかのベンチマークで新たな最先端の結果が得られた。 さらに, 固定埋込み性能と微調整結果との強い正の相関関係は, 計算コストの低減による最適層同定を可能とし, 効率的な評価・精細化手法を支持する。 これらの知見は、分子エンコーダの完全な表現深度を探索し、大幅な性能向上と計算効率を達成することの重要性を浮き彫りにした。 コードはhttps://github.com/luispintoc/Unlocking-Chemical-Insightsで公開されている。

関連論文リスト

• Comparative Evaluation of Kolmogorov-Arnold Autoencoders and Orthogonal Autoencoders for Fault Detection with Varying Training Set Sizes [0.0]
  Kolmogorov-Arnold Networks (KAN) は、従来のニューラルネットワークに代わるフレキシブルでパラメータ効率のよい代替品として登場した。 本研究では, ケミカルプロセスにおける教師なし故障検出のための Kan-based autoencoder (KAN-AEs) の比較評価を行った。
  論文  参考訳（メタデータ） (2025-08-04T19:41:12Z)
• Towards the Training of Deeper Predictive Coding Neural Networks [53.15874572081944]
  平衡伝播で訓練された予測符号化ネットワークは、反復エネルギープロセスを通じて推論を行うニューラルネットワークである。 従来の研究では、浅層建築において効果が示されたが、深さが5層から7層を超えると性能が著しく低下した。 この劣化の原因は,重み更新時の層間エラーの指数的不均衡化と,より深い層内の更新を導く上で,前層からの予測が有効でないことにある。
  論文  参考訳（メタデータ） (2025-06-30T12:44:47Z)
• Enhancing Drug Discovery: Autoencoder-Based Latent Space Augmentation for Improved Molecular Solubility Prediction using LatMixSol [0.0]
  本稿では,新しいラテント空間拡張フレームワークLatMixSolを提案する。 LatMixSolは、オートエンコーダベースの特徴圧縮と、トレーニングデータを強化するためのガイドを組み合わせたものだ。 分析により,クラスタ誘導潜在空間拡張は,データセットの多様性を拡大しながら,化学的妥当性を保っていることを確認した。
  論文  参考訳（メタデータ） (2025-05-30T20:54:57Z)
• COUNTDOWN: Contextually Sparse Activation Filtering Out Unnecessary Weights in Down Projection [3.647905567437244]
  スパースアクティベーションメソッドは、推論中に非必須パラメータを選択的に非活性化する。 間接係数を利用するM-COUNTDOWNと、線形結合の直接係数を利用するD-COUNTDOWNの2つの方法を提案する。 我々のカーネル実装は、これらの理論的な成果を実質的な実世界の加速に効果的に実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:10:22Z)
• RocketPPA: Ultra-Fast LLM-Based PPA Estimator at Code-Level Abstraction [4.825037489691159]
  完全クリーン化および合成可能なVerilogモジュールの21kデータセットを活用する新しいフレームワークを導入する。 我々は、LoRAに基づくパラメータ効率の手法を用いてCodeLlamaを微調整し、タスクを回帰問題としてフレーミングし、VerilogコードからPPAメトリクスを正確に予測する。
  論文  参考訳（メタデータ） (2025-03-27T20:35:09Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• Beyond adaptive gradient: Fast-Controlled Minibatch Algorithm for large-scale optimization [1.6749379740049926]
  そこで我々は,F-CMA,F-Controlled Mini-batchアルゴリズムを導入し,各エポックあたりの損失低減を確保するために,十分な減少条件とライン探索手順を備えたランダムリシャッフル法を提案する。 テストでは、トレーニング時間全体の68%の削減、エポック毎の効率の最大20%向上、モデル精度の最大5%向上など、大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-11-24T11:46:47Z)
• AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [61.13296177652599]
  より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
  半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。 我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。 提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-20T11:25:50Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• SASL: Saliency-Adaptive Sparsity Learning for Neural Network Acceleration [20.92912642901645]
  そこで本稿では、さらなる最適化のために、SASL(Saliency-Adaptive Sparsity Learning)アプローチを提案する。 ResNet-50 の 49.7% の FLOP を 0.39% のトップ-1 と 0.05% のトップ-5 の精度で削減できる。
  論文  参考訳（メタデータ） (2020-03-12T16:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。