論文の概要: DISTAL: Distillation and Self-Supervised Pretraining for Structure-Agnostic Materials Property Prediction

• arxiv url: http://arxiv.org/abs/2609.00059v1
• Date: Sun, 30 Aug 2026 14:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.804703
• Title: DISTAL: Distillation and Self-Supervised Pretraining for Structure-Agnostic Materials Property Prediction
• Title（参考訳）: DISTAL: 構造非依存材料特性予測のための蒸留・自己監督事前訓練
• Abstract要約: DISTALは、構造に依存しない材料特性予測のための二元的なフレームワークである。 自己監督型合成前訓練と構造認識型知識蒸留を組み合わせる。 DISTALは、評価された全ての機能の組み合わせの中で、最も高い総合的なパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 20.20663425813761
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Materials property prediction remains difficult in low-data settings, where many target properties are supported by only a limited number of labeled samples. Models with the strongest predictive accuracy often depend on crystal structures, which restricts their use in early-stage screening when structural information is limited or unavailable. To address this challenge, we propose DISTAL, a dual-prior framework for structure-agnostic materials property prediction that combines self-supervised compositional pretraining with structure-aware knowledge distillation. DISTAL first learns transferable compositional representations from a large virtual composition space using 145 composition-derived descriptors. It then distills structural knowledge from a pretrained ALIGNN teacher into a composition-conditioned student. This setting allows structural priors to be used during training without requiring structural inputs at inference. By integrating explicit compositional descriptors, pretrained latent features, and distilled structural features within a unified prediction pipeline, DISTAL captures complementary signals that are difficult to recover from any single representation alone. Across 39 benchmark tasks, the best-performing multimodal configuration combines all three signals, and improves over the reference benchmark on 37 tasks. DISTAL achieves the strongest overall performance among all evaluated feature combinations. These results indicate that compositional pretraining and structural distillation provide complementary priors and offer a practical route to robust composition-only prediction in small-data materials informatics. The source code and the pre-trained models are anonymously available at: https://osf.io/eq96d/overview?view_only=451617f42f7849e08750bd1852b48980 and will be released at the official link after acceptance.
• Abstract（参考訳）: 低データ設定では、多くのターゲットプロパティが限られた数のラベル付きサンプルによってサポートされているため、材料特性の予測は依然として困難である。 最も高い予測精度を持つモデルは、しばしば結晶構造に依存し、構造情報が制限されたり利用できない場合の早期スクリーニングでの使用を制限する。 この課題に対処するために, 自己監督型組成事前学習と構造認識型知識蒸留を組み合わせた, 構造に依存しない材料特性予測のための二元的フレームワークである DisTAL を提案する。 DISTALはまず145の合成記述子を用いて、大きな仮想合成空間から転送可能な合成表現を学習する。 その後、訓練済みのALIGNN教師から構造知識を合成条件の学生に蒸留する。 この設定により、推論時に構造的な入力を必要とせずに、トレーニング中に構造的事前の使用が可能になる。 明示的な構成記述子、事前訓練された潜在特徴、蒸留された構造特徴を統合予測パイプラインに統合することにより、DITALは単一の表現からのみ回復することが難しい補完的な信号をキャプチャする。 39のベンチマークタスク全体で、最高のパフォーマンスのマルチモーダル構成は3つのシグナルをすべて組み合わせ、37のタスクの基準ベンチマークよりも改善されている。 DISTALは、評価された全ての機能の組み合わせの中で、最も高い総合的なパフォーマンスを達成する。 これらの結果から, 組成事前学習と構造蒸留は相補的な先行性を提供し, 小データ材料情報学におけるロバストな組成のみ予測への実践的経路を示唆した。 ソースコードと事前訓練済みのモデルは匿名で入手できる。 view_only=451617f42f7849e08750bd1852b48980。

関連論文リスト

• From Synthetic Priors to Model Behavior: Structural Coverage in Tabular Foundation Models [15.974042867454365]
  我々は,各合成先行タスクが,構造的カバレッジと正規化密度を用いて,どの程度広範囲かつ反復的にベンチマークタスクに到達するかを測定する。 人工前訓練前と有意な差がみられた。 より強い合成とベンチマークのサポートは、一般的により優れた相対モデル性能と関連している。
  論文  参考訳（メタデータ） (2026-09-07T01:27:45Z)
• A Controlled Counterexample to Strong Proxy-Based Explanations of OOD Performance: in a Fixed Pretraining-and-Probing Setup [0.9805949492148788]
  タスクに依存しない構造プロキシは、ある事前学習コーパスが他のコーパスよりも優れている理由を解釈するためにしばしば使用される。 我々は,この要件を,学習構造の計算的有界概念に動機づけられた,定型事前学習・探索設定で検証する。 総合的な学習構造のためのプロキシは、制御された設定であっても、OODパフォーマンスを駆動するタスク関連構造を追跡することができません。
  論文  参考訳（メタデータ） (2026-05-12T05:36:46Z)
• Decidable By Construction: Design-Time Verification for Trustworthy AI [0.0]
  機械学習における一般的な仮定は、モデル正しさは事実の後に強制されなければならないというものである。 我々は,AIモデルが数値的に安定しているか,計算的に正しいか,あるいは物理領域と整合しているかを決定する特性が,必ずしもポストホック強制を要求するとは限らないことを観察する。
  論文  参考訳（メタデータ） (2026-03-26T13:09:36Z)
• Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs [20.946228883628013]
  我々は,効率的な全空間予測を実現するために専用エンティティトークンを使用する新しいフレームワークKGTを提案する。 まず、専用エンティティトークンのレベルで特徴表現を構築するために、特殊トークン化を導入します。 次に、事前学習された構造的特徴とテキスト的特徴を、関係誘導ゲーティング機構を介して統合された埋め込みに融合する。
  論文  参考訳（メタデータ） (2026-02-26T07:20:40Z)
• Classifier-Augmented Generation for Structured Workflow Prediction [5.92079054629498]
  本稿では,自然言語記述を実行可能なものに翻訳するシステムを提案する。 フローの構造と詳細な構成の両方を自動的に予測する。 これは、ステージ予測、エッジレイアウト、および自然駆動オーサリングのためのプロパティ生成にまたがって詳細な評価を行う最初のシステムである。
  論文  参考訳（メタデータ） (2025-10-10T18:38:25Z)
• Synthetic bootstrapped pretraining [52.92577542049469]
  本稿では,SBP(Synthetic Bootstrapped Pretraining)について述べる。 SBPはまず、事前学習データセットから文書間の関係のモデルを学び、次にそれを利用して巨大な新しいコーパスを合成する。 SBPは高い繰り返しベースラインを継続的に改善し、オラクル上界で達成可能な性能改善のかなりの部分を提供する。
  論文  参考訳（メタデータ） (2025-09-17T22:28:27Z)
• AlphaFold Database Debiasing for Robust Inverse Folding [58.792020809180336]
  Debiasing Structure AutoEncoder (DeSAE)を導入し、故意に破損したバックボーンジオメトリからネイティブライクなコンフォーメーションを再構築することを学ぶ。 推測において、DeSAEをAFDB構造に適用すると、逆折り畳み性能を著しく向上する偏りのある構造が生成される。
  論文  参考訳（メタデータ） (2025-06-10T02:25:31Z)
• Supervised Pretraining for Material Property Prediction [0.36868085124383626]
  自己教師付き学習(SSL)は、基盤モデルを開発するために、大規模でラベルなしのデータセットを事前トレーニングすることで、有望な代替手段を提供する。 そこで本研究では,教師付き事前学習を提案する。 表現学習をさらに強化するため,物質グラフを構造的に変形させることなく,ノイズを注入してロバスト性を向上させるグラフベースの拡張手法を提案する。
  論文  参考訳（メタデータ） (2025-04-27T19:00:41Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• CSNE: Conditional Signed Network Embedding [77.54225346953069]
  署名されたネットワークは、友人/フォアや信頼/不信のようなエンティティ間の正と負の関係を符号化する。 サイン予測のための既存の埋め込み手法は、一般に最適化関数におけるステータスやバランス理論の異なる概念を強制する。 条件付き符号付きネットワーク埋め込み(CSNE)を導入する。 我々の確率論的アプローチは、きめ細かな詳細とは別途、ネットワーク内の記号に関する構造情報をモデル化する。
  論文  参考訳（メタデータ） (2020-05-19T19:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。