論文の概要: Superior Molecular Representations from Intermediate Encoder Layers

• arxiv url: http://arxiv.org/abs/2506.06443v3
• Date: Wed, 15 Oct 2025 01:55:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 17:53:16.2393
• Title: Superior Molecular Representations from Intermediate Encoder Layers
• Title（参考訳）: 中間エンコーダ層からの上位分子表現
• Authors: Luis Pinto,
• Abstract要約: 5種類の分子エンコーダにおける情報の流れを解析し,中間層がより汎用的な特徴を持つことを示す。 最適中間層からの凍結埋め込みを用いることで,最終層に比べて平均5.4%のダウンストリーム性能が28.6%向上することがわかった。
• 参考スコア（独自算出の注目度）: 0.006860025762294234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained molecular encoders have become indispensable in computational chemistry for tasks such as property prediction and molecular generation. However, the standard practice of relying solely on final-layer embeddings for downstream tasks may discard valuable information. In this work, we first analyze the information flow in five diverse molecular encoders and find that intermediate layers retain more general-purpose features, whereas the final-layer specializes and compresses information. We then perform an empirical layer-wise evaluation across 22 property prediction tasks. We find that using frozen embeddings from optimal intermediate layers improves downstream performance by an average of 5.4%, up to 28.6%, compared to the final-layer. Furthermore, finetuning encoders truncated at intermediate depths achieves even greater average improvements of 8.5%, with increases as high as 40.8%, obtaining new state-of-the-art results on several benchmarks. These findings highlight the importance of exploring the full representational depth of molecular encoders to achieve substantial performance improvements and computational efficiency. The code will be made publicly available.
• Abstract（参考訳）: 制約された分子エンコーダは、特性予測や分子生成といったタスクにおいて計算化学において欠かせないものとなっている。 しかし、下流タスクのための最終層埋め込みにのみ依存するという標準的な慣行は、貴重な情報を捨てる可能性がある。 本研究では,5つの分子エンコーダにおける情報フローを解析し,中間層がより汎用的な特徴を保持するのに対して,最終層は情報を専門化し,圧縮する。 次に、22のプロパティ予測タスクにまたがる経験的レイヤワイズ評価を行う。 最適中間層からの凍結埋め込みを用いることで,最終層に比べて平均5.4%のダウンストリーム性能が28.6%向上することがわかった。 さらに、中間深度で切り詰められた微調整エンコーダは、さらに平均8.5%の改善を実現し、最大40.8%向上し、いくつかのベンチマークで新たな最先端結果が得られる。 これらの知見は、分子エンコーダの完全な表現深度を探索し、大幅な性能向上と計算効率を達成することの重要性を浮き彫りにした。 コードは公開されます。

関連論文リスト

• Comparative Evaluation of Kolmogorov-Arnold Autoencoders and Orthogonal Autoencoders for Fault Detection with Varying Training Set Sizes [0.0]
  Kolmogorov-Arnold Networks (KAN) は、従来のニューラルネットワークに代わるフレキシブルでパラメータ効率のよい代替品として登場した。 本研究では, ケミカルプロセスにおける教師なし故障検出のための Kan-based autoencoder (KAN-AEs) の比較評価を行った。
  論文  参考訳（メタデータ） (2025-08-04T19:41:12Z)
• Towards the Training of Deeper Predictive Coding Neural Networks [53.15874572081944]
  平衡伝播で訓練された予測符号化ネットワークは、反復エネルギープロセスを通じて推論を行うニューラルネットワークである。 従来の研究では、浅層建築において効果が示されたが、深さが5層から7層を超えると性能が著しく低下した。 この劣化の原因は,重み更新時の層間エラーの指数的不均衡化と,より深い層内の更新を導く上で,前層からの予測が有効でないことにある。
  論文  参考訳（メタデータ） (2025-06-30T12:44:47Z)
• Enhancing Drug Discovery: Autoencoder-Based Latent Space Augmentation for Improved Molecular Solubility Prediction using LatMixSol [0.0]
  本稿では,新しいラテント空間拡張フレームワークLatMixSolを提案する。 LatMixSolは、オートエンコーダベースの特徴圧縮と、トレーニングデータを強化するためのガイドを組み合わせたものだ。 分析により,クラスタ誘導潜在空間拡張は,データセットの多様性を拡大しながら,化学的妥当性を保っていることを確認した。
  論文  参考訳（メタデータ） (2025-05-30T20:54:57Z)
• COUNTDOWN: Contextually Sparse Activation Filtering Out Unnecessary Weights in Down Projection [3.647905567437244]
  スパースアクティベーションメソッドは、推論中に非必須パラメータを選択的に非活性化する。 間接係数を利用するM-COUNTDOWNと、線形結合の直接係数を利用するD-COUNTDOWNの2つの方法を提案する。 我々のカーネル実装は、これらの理論的な成果を実質的な実世界の加速に効果的に実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:10:22Z)
• RocketPPA: Ultra-Fast LLM-Based PPA Estimator at Code-Level Abstraction [4.825037489691159]
  完全クリーン化および合成可能なVerilogモジュールの21kデータセットを活用する新しいフレームワークを導入する。 我々は、LoRAに基づくパラメータ効率の手法を用いてCodeLlamaを微調整し、タスクを回帰問題としてフレーミングし、VerilogコードからPPAメトリクスを正確に予測する。
  論文  参考訳（メタデータ） (2025-03-27T20:35:09Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• Beyond adaptive gradient: Fast-Controlled Minibatch Algorithm for large-scale optimization [1.6749379740049926]
  そこで我々は,F-CMA,F-Controlled Mini-batchアルゴリズムを導入し,各エポックあたりの損失低減を確保するために,十分な減少条件とライン探索手順を備えたランダムリシャッフル法を提案する。 テストでは、トレーニング時間全体の68%の削減、エポック毎の効率の最大20%向上、モデル精度の最大5%向上など、大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-11-24T11:46:47Z)
• AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [61.13296177652599]
  より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• LayerMatch: Do Pseudo-labels Benefit All Layers? [77.59625180366115]
  半教師付き学習はラベル付きデータの依存性を軽減するための有望なソリューションを提供する。 我々はGrad-ReLUとAvg-Clusteringという2つの層固有の擬似ラベル戦略を開発した。 提案手法は,標準的な半教師付き学習ベンチマークにおいて,例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-06-20T11:25:50Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• SASL: Saliency-Adaptive Sparsity Learning for Neural Network Acceleration [20.92912642901645]
  そこで本稿では、さらなる最適化のために、SASL(Saliency-Adaptive Sparsity Learning)アプローチを提案する。 ResNet-50 の 49.7% の FLOP を 0.39% のトップ-1 と 0.05% のトップ-5 の精度で削減できる。
  論文  参考訳（メタデータ） (2020-03-12T16:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。