論文の概要: Self-Consistency Training for Hamiltonian Prediction
- arxiv url: http://arxiv.org/abs/2403.09560v1
- Date: Thu, 14 Mar 2024 16:52:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 19:38:09.175391
- Title: Self-Consistency Training for Hamiltonian Prediction
- Title(参考訳): ハミルトン予測のための自己整合性トレーニング
- Authors: He Zhang, Chang Liu, Zun Wang, Xinran Wei, Siyuan Liu, Nanning Zheng, Bin Shao, Tie-Yan Liu,
- Abstract要約: ハミルトン予測は自己整合性原理を持ち,ラベル付きデータを必要としない正確なトレーニング手法を提案する。
データスカースとアウト・オブ・ディストリビューションのシナリオにおけるより良い一般化と、アモート化によるより良い効率を実証的に実証する。
- 参考スコア(独自算出の注目度): 74.84850523400873
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hamiltonian prediction is a versatile formulation to leverage machine learning for solving molecular science problems. Yet, its applicability is limited by insufficient labeled data for training. In this work, we highlight that Hamiltonian prediction possesses a self-consistency principle, based on which we propose an exact training method that does not require labeled data. This merit addresses the data scarcity difficulty, and distinguishes the task from other property prediction formulations with unique benefits: (1) self-consistency training enables the model to be trained on a large amount of unlabeled data, hence substantially enhances generalization; (2) self-consistency training is more efficient than labeling data with DFT for supervised training, since it is an amortization of DFT calculation over a set of molecular structures. We empirically demonstrate the better generalization in data-scarce and out-of-distribution scenarios, and the better efficiency from the amortization. These benefits push forward the applicability of Hamiltonian prediction to an ever larger scale.
- Abstract(参考訳): ハミルトン予測は、機械学習を利用して分子科学の問題を解決する汎用的な定式化である。
しかし、その適用性はトレーニングに十分なラベル付きデータによって制限されている。
本研究では,ラベル付きデータを必要としない厳密なトレーニング手法を提案する。
このメリットはデータ不足の難しさに対処し,(1) 自己整合性トレーニングにより,大量の未ラベルデータに基づいてモデルをトレーニングすることが可能になり,その結果,一般化が著しく向上する,(2) 自己整合性トレーニングは,分子構造の集合に対するDFT計算の復号化であるため,DFTでデータをラベル付けするよりも効率的である,というユニークな利点によって,タスクを他の特性予測式と区別する。
データスカースとアウト・オブ・ディストリビューションのシナリオにおけるより良い一般化と、アモート化によるより良い効率を実証的に実証する。
これらの利点はハミルトン予想の適用性をさらに大きな規模に推し進める。
関連論文リスト
- Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - On Data Imbalance in Molecular Property Prediction with Pre-training [16.211138511816642]
プレトレーニングと呼ばれるテクニックは、機械学習モデルの精度を向上させるために使用される。
事前トレーニングでは、対象タスクでモデルをトレーニングする前に、対象タスクとは異なるプレテキストタスクでモデルをトレーニングする。
本研究では,入力データの不均衡に対処する効果的な事前学習手法を提案する。
論文 参考訳(メタデータ) (2023-08-17T12:04:14Z) - In all LikelihoodS: How to Reliably Select Pseudo-Labeled Data for
Self-Training in Semi-Supervised Learning [0.0]
自己学習は、半教師あり学習においてシンプルだが効果的な方法である。
本稿では,PSSをより堅牢にモデル化する手法を提案する。
結果は、特にロバスト性 w.r.t. モデル選択がかなりの精度の向上をもたらすことを示唆している。
論文 参考訳(メタデータ) (2023-03-02T10:00:37Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning [14.10627556244287]
フェデレート蒸留(Federated Distillation, FD)は、フェデレート学習のための新しいアルゴリズムパラダイムである。
ラベルなし補助データから最大ユーティリティを導出することで性能を大幅に向上するFedAUXを提案する。
大規模畳み込みニューラルネットワークとトランスフォーマーモデルの実験により、FedAUXのトレーニング性能がSOTA FLベースライン法を上回ることを示した。
論文 参考訳(メタデータ) (2021-02-04T09:53:53Z) - Statistical and Algorithmic Insights for Semi-supervised Learning with
Self-training [30.866440916522826]
自己学習は、半教師あり学習における古典的なアプローチである。
自己学習の繰り返しは、たとえ最適でない固定点に留まったとしても、モデル精度を良好に向上することを示す。
次に、自己学習に基づく半スーパービジョンと、異種データによる学習のより一般的な問題との関連性を確立する。
論文 参考訳(メタデータ) (2020-06-19T08:09:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。