論文の概要: CLASS: Enhancing Cross-Modal Text-Molecule Retrieval Performance and Training Efficiency

• arxiv url: http://arxiv.org/abs/2502.11633v1
• Date: Mon, 17 Feb 2025 10:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:26.415592
• Title: CLASS: Enhancing Cross-Modal Text-Molecule Retrieval Performance and Training Efficiency
• Title（参考訳）: CLASS: クロスモーダルテキスト-分子検索性能とトレーニング効率の向上
• Authors: Hongyan Wu, Peijian Zeng, Weixiong Zheng, Lianxi Wang, Nankai Lin, Shengyi Jiang, Aimin Yang,
• Abstract要約: クロスモーダルテキスト-分子検索タスクは、分子構造と自然言語記述を橋渡しする。 既存の手法は主にテキストのモダリティと分子のモダリティの整合に重点を置いているが、異なる訓練段階における学習状態を適応的に調整しているのを見落としている。 本稿では,CLASS(Curriculum Learning-bAsed croSS-modal text-molecule training framework)を提案する。
• 参考スコア（独自算出の注目度）: 7.2360149365370345
• License:
• Abstract: Cross-modal text-molecule retrieval task bridges molecule structures and natural language descriptions. Existing methods predominantly focus on aligning text modality and molecule modality, yet they overlook adaptively adjusting the learning states at different training stages and enhancing training efficiency. To tackle these challenges, this paper proposes a Curriculum Learning-bAsed croSS-modal text-molecule training framework (CLASS), which can be integrated with any backbone to yield promising performance improvement. Specifically, we quantify the sample difficulty considering both text modality and molecule modality, and design a sample scheduler to introduce training samples via an easy-to-difficult paradigm as the training advances, remarkably reducing the scale of training samples at the early stage of training and improving training efficiency. Moreover, we introduce adaptive intensity learning to increase the training intensity as the training progresses, which adaptively controls the learning intensity across all curriculum stages. Experimental results on the ChEBI-20 dataset demonstrate that our proposed method gains superior performance, simultaneously achieving prominent time savings.
• Abstract（参考訳）: クロスモーダルテキスト-分子検索タスクは、分子構造と自然言語記述を橋渡しする。 既存の手法は主にテキストのモダリティと分子のモダリティの整合性に重点を置いているが、異なる訓練段階における学習状態を適応的に調整し、訓練効率を向上させる。 これらの課題に対処するために,CLASS(Curriculum Learning-bAsed croSS-modal text-molecule training framework)を提案する。 具体的には、テキストのモダリティと分子のモダリティの両方を考慮してサンプルの難易度を定量化し、トレーニングの初期段階におけるトレーニングサンプルのスケールを著しく低減し、トレーニング効率を向上させるため、簡単なパラダイムでトレーニングサンプルを導入するサンプルスケジューラを設計する。 さらに,学習が進むにつれて,適応的強度学習を導入してトレーニング強度を増大させ,すべてのカリキュラム段階にわたって学習強度を適応的に制御する。 ChEBI-20データセットによる実験結果から,提案手法は優れた性能を示し,同時に顕著な時間節約を実現している。

関連論文リスト

• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Advancing NLP Models with Strategic Text Augmentation: A Comprehensive Study of Augmentation Methods and Curriculum Strategies [0.0]
  本研究では,さまざまなデータセットと自然言語処理(NLP)タスクにまたがるテキスト拡張手法の徹底的な評価を行う。 トピック分類や感情分析,攻撃的言語検出などのタスクにおいて,これらの手法がトレーニングセットを増強し,パフォーマンスを向上させる効果について検討した。
  論文  参考訳（メタデータ） (2024-02-14T12:41:09Z)
• Improving Imbalanced Text Classification with Dynamic Curriculum Learning [32.731900584216724]
  不均衡テキスト分類のための自己評価動的カリキュラム学習手法を提案する。 我々のSPDCLは、適応的なペースからハードペースに適応することで、トレーニングデータの再注文と再サンプル化が困難である。 いくつかの分類タスクの実験は、SPDCL戦略、特に不均衡データセットの有効性を示している。
  論文  参考訳（メタデータ） (2022-10-25T07:57:59Z)
• Effective Vision Transformer Training: A Data-Centric Perspective [24.02488085447691]
  視覚変換器(ViT)は畳み込みニューラルネットワーク(CNN)と比較して有望な性能を示した 本稿では,DDP(Dynamic Data Proportion)やKAR(Knowledge Assimilation Rate)など,いくつかの指標を定義する。 トレーニングサンプルの難易度を動的に測定し,異なるトレーニング段階におけるモデルに対する効果的なサンプルを生成するための,新しいデータ中心型ViTトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:46Z)
• Perceiving the World: Question-guided Reinforcement Learning for Text-based Games [64.11746320061965]
  本稿では,環境に関する質問に答えることで,タスクやプーンアクションを自動的に分解する世界認識モジュールを提案する。 次に、強化学習から言語学習を分離する2段階学習フレームワークを提案し、サンプル効率をさらに向上させる。
  論文  参考訳（メタデータ） (2022-03-20T04:23:57Z)
• Curriculum Meta-Learning for Few-shot Classification [1.5039745292757671]
  本稿では,最新のメタ学習技術に適用可能なカリキュラム学習フレームワークの適応性を提案する。 数発の画像分類タスクにおけるMAMLアルゴリズムによる実験は,カリキュラムの学習フレームワークにおいて有意な効果を示した。
  論文  参考訳（メタデータ） (2021-12-06T10:29:23Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• Exploration and Exploitation: Two Ways to Improve Chinese Spelling Correction Models [51.744357472072416]
  本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。 実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:33Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Self-Paced Learning for Neural Machine Translation [55.41314278859938]
  ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。 提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-09T11:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。