論文の概要: RoFt-Mol: Benchmarking Robust Fine-Tuning with Molecular Graph Foundation Models

• arxiv url: http://arxiv.org/abs/2509.00614v2
• Date: Tue, 09 Sep 2025 19:46:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.172402
• Title: RoFt-Mol: Benchmarking Robust Fine-Tuning with Molecular Graph Foundation Models
• Title（参考訳）: RoFt-Mol: 分子グラフ基礎モデルによるロバストファインチューニングのベンチマーク
• Authors: Shikun Liu, Deyu Zou, Nima Shoghi, Victor Fung, Kai Liu, Pan Li,
• Abstract要約: 本研究では,8つのファインチューニング手法を,ウェイトベース,表現ベース,部分的なファインチューニングの3つのメカニズムに分類する。 各種ラベル設定における教師付きおよび自己教師付き事前学習モデルの下流回帰および分類タスクについて,これらの手法をベンチマークした。 この評価は有用な洞察を与え、洗練された頑健な微調整法であるROFT-MOLの設計を通知する。
• 参考スコア（独自算出の注目度）: 15.62650736139546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of foundation models, fine-tuning pre-trained models for specific downstream tasks has become crucial. This drives the need for robust fine-tuning methods to address challenges such as model overfitting and sparse labeling. Molecular graph foundation models (MGFMs) face unique difficulties that complicate fine-tuning. These models are limited by smaller pre-training datasets and more severe data scarcity for downstream tasks, both of which require enhanced model generalization. Moreover, MGFMs must accommodate diverse objectives, including both regression and classification tasks. To better understand and improve fine-tuning techniques under these conditions, we classify eight fine-tuning methods into three mechanisms: weight-based, representation-based, and partial fine-tuning. We benchmark these methods on downstream regression and classification tasks across supervised and self-supervised pre-trained models in diverse labeling settings. This extensive evaluation provides valuable insights and informs the design of a refined robust fine-tuning method, ROFT-MOL. This approach combines the strengths of simple post-hoc weight interpolation with more complex weight ensemble fine-tuning methods, delivering improved performance across both task types while maintaining the ease of use inherent in post-hoc weight interpolation.
• Abstract（参考訳）: ファンデーションモデルの時代には、特定の下流タスクのための微調整済みモデルが重要になっている。 これにより、モデルオーバーフィットやスパースラベリングといった課題に対処する堅牢な微調整方法の必要性が高まる。 分子グラフ基礎モデル(MGFM)は微調整を複雑にする固有の困難に直面している。 これらのモデルは、より小さな事前トレーニングデータセットと、より厳しいデータ不足により、下流タスクによって制限される。 さらに、MGFMは回帰タスクと分類タスクの両方を含む様々な目的に対応できなければならない。 これらの条件下での微調整手法をよりよく理解し,改良するために,8つの微調整手法を重みベース,表現ベース,部分微調整の3つのメカニズムに分類した。 各種ラベル設定における教師付きおよび自己教師付き事前学習モデルの下流回帰および分類タスクについて,これらの手法をベンチマークした。 この広範囲な評価は貴重な洞察を与え、洗練された頑健な微調整法であるROFT-MOLの設計を通知する。 このアプローチは、単純なポストホック重量補間とより複雑なウェイトアンサンブル微調整法を組み合わせることで、ポストホック重量補間に固有の使いやすさを維持しつつ、両方のタスクタイプで性能を向上させる。

関連論文リスト

• Rethinking Weight-Averaged Model-merging [15.2881959315021]
  モデルマージ(特に重量平均化)は、計算を節約し、追加のトレーニングなしでモデル性能を向上させるという驚くべき効果を示した。 本研究では,解釈可能性のレンズを通した平均的な重み付けモデルを再解釈し,その挙動を規定するメカニズムに関する実証的な知見を提供する。
  論文  参考訳（メタデータ） (2024-11-14T08:02:14Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
  本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。 分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。 LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-05-02T02:20:12Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• Reinforcement Learning based dynamic weighing of Ensemble Models for Time Series Forecasting [0.8399688944263843]
  データモデリングのために選択されたモデルが(線形/非線形、静的/動的)異なるモデルと独立(最小相関)モデルである場合、予測の精度が向上することが知られている。 アンサンブルモデルを重み付けするために文献で提案された様々なアプローチは、静的な重みセットを使用する。 この問題に対処するため、Reinforcement Learning (RL)アプローチでは、各モデルの重み付けを異なるタイミングで動的に割り当て、更新する。
  論文  参考訳（メタデータ） (2020-08-20T10:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。