Fugu-MT 論文翻訳(概要): Addressing the Accuracy-Cost Tradeoff in Material Property Prediction: A Teacher-Student Strategy

論文の概要: Addressing the Accuracy-Cost Tradeoff in Material Property Prediction: A Teacher-Student Strategy

arxiv url: http://arxiv.org/abs/2309.04482v1
Date: Tue, 22 Aug 2023 14:44:55 GMT
ステータス: 処理完了
システム内更新日: 2023-09-17 14:06:41.313766
Title: Addressing the Accuracy-Cost Tradeoff in Material Property Prediction: A Teacher-Student Strategy
Title（参考訳）: 物質的特性予測における精度・コストトレードオフへの取り組み--教師・学生戦略
Authors: Dong Zhu, Zhikuang xin, Siming Zheng, Yangang Wang, Xiaoyu Yang
Abstract要約: 化学組成に基づく特性予測モデル(CPM)の精度は構造ベース特性予測モデル(SPM)よりもかなり遅れている本稿では,CPMの精度を高めるために,事前学習したSPMが「教師」として機能する,革新的なT-S戦略を提案する。 T-S戦略を活用することで、T-S CrabNetは現在のCPMの中で最も正確なモデルになっている。
参考スコア（独自算出の注目度）: 13.542591025727349
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning has revolutionized the process of new material discovery, with state-of-the-art models now able to predict material properties based solely on chemical compositions, thus eliminating the necessity for material structures. However, this cost-effective method has led to a trade-off in model accuracy. Specifically, the accuracy of Chemical Composition-based Property Prediction Models (CPMs) significantly lags behind that of Structure-based Property Prediction Models (SPMs). To tackle this challenge, we propose an innovative Teacher-Student (T-S) strategy, where a pre-trained SPM serves as the 'teacher' to enhance the accuracy of the CPM. Leveraging the T-S strategy, T-S CrabNet has risen to become the most accurate model among current CPMs. Initially, we demonstrated the universality of this strategy. On the Materials Project (MP) and Jarvis datasets, we validated the effectiveness of the T-S strategy in boosting the accuracy of CPMs with two distinct network structures, namely CrabNet and Roost. This led to CrabNet, under the guidance of the T-S strategy, emerging as the most accurate model among the current CPMs. Moreover, this strategy shows remarkable efficacy in small datasets. When predicting the formation energy on a small MP dataset comprising merely 5% of the samples, the T-S strategy boosted CrabNet's accuracy by 37.1%, exceeding the enhancement effect of the T-S strategy on the whole dataset.
Abstract（参考訳）: 深層学習は新たな物質発見のプロセスに革命をもたらし、最先端のモデルでは化学組成のみに基づく材料特性の予測が可能になったため、材料構造の必要性は排除された。しかし、このコスト効率の手法はモデル精度のトレードオフにつながった。具体的には, 化学組成に基づく特性予測モデル (CPM) の精度は, 構造ベース特性予測モデル (SPM) よりも著しく遅れている。そこで本研究では,spmの精度を高めるために,事前学習したspmが「教師」として機能する,革新的なt-s戦略を提案する。 T-S戦略を活用することで、T-S CrabNetは現在のCPMの中で最も正確なモデルになっている。当初、我々はこの戦略の普遍性を実証した。 Materials Project (MP) と Jarvis のデータセットでは,ClarbNet と Roost という2つの異なるネットワーク構造を持つ CPM の精度を高めるため,T-S 戦略の有効性を検証した。これによりCrabNetはT-S戦略の指導のもと、現在のCPMの中で最も正確なモデルとして登場した。さらに、この戦略は小さなデータセットで顕著な効果を示す。サンプルのわずか5%からなる小さなMPデータセット上の生成エネルギーを予測すると、T-S戦略はCrabNetの精度を37.1%向上させ、データセット全体のT-S戦略の強化効果を上回った。

関連論文リスト

A Utility-Mining-Driven Active Learning Approach for Analyzing Clickstream Sequences [21.38368444137596]
本研究では、SHAP値(HUSPM-SHAP)モデルを用いた高ユーティリティシーケンスパターンマイニングを提案する。本研究は,電子商取引データ処理を改良し,より合理化され,コスト効率のよい予測モデルに向けたモデルの有効性を示す。
論文参考訳（メタデータ） (2024-10-09T10:44:02Z)
Deep Learning Framework for History Matching CO2 Storage with 4D Seismic and Monitoring Well Data [0.0]
地質的な炭素貯蔵は、超臨界二酸化炭素のメガトンを地下層に注入する。本稿では,早期観測に基づく生成特性の校正を可能にする履歴マッチング戦略を提案する。
論文参考訳（メタデータ） (2024-08-02T21:14:13Z)
Enhancing material property prediction with ensemble deep graph convolutional networks [9.470117608423957]
近年の取り組みは、プロパティ予測にディープラーニングベースのグラフニューラルネットワークを含む高度なMLアルゴリズムの採用に重点を置いている。本研究は,物質特性予測タスクを対象とする深層学習に基づくグラフニューラルネットワークにおけるアンサンブル戦略の詳細な評価を行う。 CGCNN(Crystal Graph Convolutional Neural Network)とそのマルチタスクバージョンであるMT-CGCNNを試験することにより、アンサンブル技術、特に予測平均化が従来のメトリクスを超える精度を大幅に向上することを示した。
論文参考訳（メタデータ） (2024-07-26T16:12:06Z)
ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
論文参考訳（メタデータ） (2024-07-03T16:33:31Z)
Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文参考訳（メタデータ） (2023-10-19T13:13:41Z)
MeSa: Masked, Geometric, and Supervised Pre-training for Monocular Depth Estimation [16.603313720568465]
マスク,幾何,および教師付き事前学習の相補的強みを利用する包括的フレームワークであるMeSaを提案する。 MeSaの利点は、マスク付き事前訓練によって学習される汎用表現だけでなく、幾何学的および教師あり事前訓練によって取得される専門的な深度特化特徴の恩恵である。提案手法は,マスク付き事前トレーニングSSL方式をRMSEで17.1%のマージンで上回っている。
論文参考訳（メタデータ） (2023-10-06T19:24:54Z)
Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文参考訳（メタデータ） (2023-03-13T17:59:02Z)
Graph Neural Network based Child Activity Recognition [6.423239719448169]
本稿では,グラフ畳み込みネットワーク(GCN)に基づく深層学習モデルを用いた児童活動認識(CAR)の実装について述べる。特徴抽出法と微調整法により、精度は20%-30%向上し、最高精度は82.24%となった。
論文参考訳（メタデータ） (2022-12-18T05:07:11Z)
Language model compression with weighted low-rank factorization [73.61874728240568]
本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
論文参考訳（メタデータ） (2022-06-30T21:57:07Z)
Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文参考訳（メタデータ） (2021-06-22T16:53:09Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。