論文の概要: AutoMatBench: An Automatic Optimization Toolkit for the Acceleration of Material Properties Prediction Benchmarking

• arxiv url: http://arxiv.org/abs/2607.11526v1
• Date: Mon, 13 Jul 2026 13:11:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.479669
• Title: AutoMatBench: An Automatic Optimization Toolkit for the Acceleration of Material Properties Prediction Benchmarking
• Title（参考訳）: AutoMatBench: 材料特性予測ベンチマークの高速化のための自動最適化ツールキット
• Abstract要約: 材料特性予測(MPP)は化学組成と構造から重要な性質を推定する。 MatBenchは広く受け入れられているベンチマークツールで、10以上の重大な問題を定義している。 オフ・オブ・ディストリビューション(OOD)の材料データにその性能を反映する能力がないため、新たな材料発見に失敗する。
• 参考スコア（独自算出の注目度）: 0.528539620288341
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Material property prediction (MPP) infers key properties from chemical composition and structure, accelerating the discovery and optimization of novel materials. In the realm of MPP, MatBench is a widely accepted benchmarking tool that defines over ten significant problems and provides the paradigm of performance evaluation for AI prediction models. Even though MatBench works well in benchmarking the performances of prediction models on in-distribution (ID) tasks and datasets, it lacks the ability to reflect their performances on out-of-distribution (OOD) material data, resulting failure in new material discovery. By combining the pipelines of MatBench and the existing researches on OOD performance evaluation, this study enables a huge space of benchmarking configurations, comprehensively reflecting the performances, abilities, and disadvantages of various AI prediction models. This work reports that the discrepancy of performances at different configuration values is huge and can be illustrated with prior knowledge and novel insights, therefore consideration of causal effect of configurations on performance results is necessary. In case of the impossibility of enumerative benchmarking at every configuration, this work further proposes AutoMatBench, an automatic toolkit with Bayesian optimization. Experiments with AutoMatBench reports that, within twelve steps of optimization, the similar results with MatBench and former OOD research can be accessed while more than half of the cost are saved. Besides, this tool also yields more essential findings on MPP benchmarking, positively contributing to the cost and efficiency of new material discovery.
• Abstract（参考訳）: 材料特性予測(MPP)は化学組成と構造から重要な性質を推定し、新規材料の発見と最適化を加速する。 MPPの領域では、MatBenchは広く受け入れられているベンチマークツールで、10以上の重大な問題を定義し、AI予測モデルのパフォーマンス評価のパラダイムを提供する。 MatBenchは、In-distriion(ID)タスクとデータセットの予測モデルのパフォーマンスのベンチマークにうまく機能するが、out-of-distriion(OOD)マテリアルデータにそのパフォーマンスを反映する能力がないため、新しい材料発見に失敗する。 MatBenchのパイプラインとOOD性能評価に関する既存の研究を組み合わせることで、様々なAI予測モデルの性能、能力、欠点を包括的に反映し、ベンチマーク設定の膨大なスペースを可能にする。 本研究は、異なる構成値における性能の相違は巨大であり、事前の知識と新たな洞察で説明できるので、構成の因果的影響が性能に与える影響を考慮する必要があることを報告している。 列挙型ベンチマークがすべての構成で不可能である場合、ベイズ最適化を備えた自動ツールキットであるAutoMatBenchをさらに提案する。 AutoMatBenchによる実験では、最適化の12ステップ以内に、MatBenchと以前のOOD研究と同じような結果にアクセスでき、コストの半分以上を節約できると報告されている。 さらに、このツールはMPPベンチマークにおいてより重要な発見をもたらし、新しい物質発見のコストと効率に肯定的な貢献をする。

関連論文リスト

• Frugal Bayesian Optimization: Scalable Surrogates for Data- and Resource-Limited Discovery [0.6927055673104934]
  我々は,ガウス過程,ランダムフォレスト,NGBoost,ベイズ適応スプライン面の4つの代理モデルを評価する。 ガウスプロセスに基づくBOは、最適化やサンプル効率を向上することなく、最高時間とメモリオーバーヘッドを発生させることを示す。 本稿では,安価なデータセット特性から最も適切なBOサロゲートを予測するサロゲート勧告フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-31T09:55:38Z)
• SparseEval: Efficient Evaluation of Large Language Models by Sparse Optimization [64.95852289011385]
  大規模言語モデル(LLM)は拡大を続けており、様々な下流タスクのパフォーマンスは大幅に改善されている。 多数のベンチマークサンプルで推論を行うと、高い計算コストが発生するため、それらの能力を評価するのがますます高価になっている。 SparseEvalは,アンカーウェイトを最適化する勾配降下法を初めて導入し,アンカーセレクションに反復的洗練戦略を採用する手法である。
  論文  参考訳（メタデータ） (2026-02-08T11:12:45Z)
• ODP-Bench: Benchmarking Out-of-Distribution Performance Prediction [29.953921358142477]
  Out-of-Distribution (OOD)パフォーマンス予測は、未ラベルのテストデータセット上でトレーニングされたモデルのパフォーマンスを予測することを目的としている。 OODデータセットと既存の実用的な性能予測アルゴリズムを含む総合ベンチマークであるOut-of-Distribution Performance Prediction Benchmark (ODP-Bench)を提案する。 我々は、将来の研究者のためのテストベンチとしてトレーニングされたモデルを提供し、比較の一貫性を保証し、モデルのトレーニングプロセスの繰り返しの負担を回避する。
  論文  参考訳（メタデータ） (2025-10-31T08:03:35Z)
• Machine Learning-Based Prediction of Metal-Organic Framework Materials: A Comparative Analysis of Multiple Models [2.089191490381739]
  金属-有機系フレームワーク (MOF) は様々な用途に期待できる材料として登場してきた。 本研究は,MOFの材料特性を予測するための機械学習手法に関する包括的研究である。
  論文  参考訳（メタデータ） (2025-07-06T18:10:00Z)
• Can We Predict Performance of Large Models across Vision-Language Tasks? [34.27319941609499]
  本稿では,他のLVLMやタスクの観測結果に基づいて,未知のパフォーマンススコアを予測する新しいフレームワークを提案する。 実験では,未知のスコアの予測におけるPMFの精度,オーダリング評価における不確実性推定の信頼性,スパースデータ処理における拡張の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-14T03:00:12Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark [95.0484665958967]
  事前学習された視覚モデル(PVM)は、幅広い下流の視覚タスクに顕著な適応性を示した。 これらのモデルが数十億または数兆のパラメータにスケールするにつれて、計算と記憶の要求が高いため、従来の完全な微調整はますます非現実的になっている。 パラメータ効率の良いファインチューニング(PEFT)は、モデルパラメータを最小限に調整しながら、完全なファインチューニングに匹敵するパフォーマンスを実現するための、有望な代替手段として登場した。
  論文  参考訳（メタデータ） (2024-02-03T19:12:20Z)
• Structure-based out-of-distribution (OOD) materials property prediction: a benchmark study [1.3711992220025948]
  本稿では,構造ベースグラフニューラルネットワーク(GNN)を用いたOOD材料特性予測のためのベンチマーク研究を行う。 実験の結果,現在最先端のGNNアルゴリズムはOOD特性予測タスクでは著しく性能が劣っていることがわかった。 CGCNN、ALIGNN、DeeperGATGNNのOOD性能は、現在のベストモデルよりもはるかに堅牢である。
  論文  参考訳（メタデータ） (2024-01-16T01:03:39Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。