論文の概要: InformedXRD: Reproducible Benchmarks and Physics-Informed Evaluation for Powder Diffraction Symmetry Classification
- arxiv url: http://arxiv.org/abs/2611.01525v1
- Date: Sun, 01 Nov 2026 03:57:44 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:17:30.087955
- Title: InformedXRD: Reproducible Benchmarks and Physics-Informed Evaluation for Powder Diffraction Symmetry Classification
- Title(参考訳): InformedXRD:粉体回折対称性分類のための再現性ベンチマークと物理インフォームド評価
- Abstract要約: 粉末回折のための機械学習評価フレームワークInformedXRDを提案する。
マッピング、RRUFFベンチマーク、ペアグラフ、および初期の作業でリリースされた4つのViTチェックポイントに基づいています。
すべてのマッピングテーブル、ベンチマークコード、スクリプト、チェックポイントは、PXRD-ML評価のための共有インフラストラクチャとしてリリースされている。
- 参考スコア(独自算出の注目度): 4.853951024156882
- License:
- Abstract: Machine learning for powder diffraction (PXRD) symmetry classification is being trained at scale, yet the field lacks a common evaluation standard: papers report results on different subsets of experimental archives, with different target taxonomies, preprocessing, and metrics, and published models are rarely released in a form that permits rescoring. We present InformedXRD, an evaluation framework with three parts: (i) a machine-readable mapping from 230 space groups to 99 extinction groups, the finest classes powder diffraction can identify from systematic absences alone; (ii) a benchmark-construction method whose inclusion rules are specified as code and reproduce from a frozen snapshot, instantiated as RRUFF-473, RRUFF-325, and, as a small example, opXRD-98; (iii) a reporting protocol with prior-only frequency baselines, a label-permutation test, a hierarchy-aware error metric on the condensed translationengleiche subgroup graph, and stratified evaluation. We build on the mapping, RRUFF benchmarks, subgroup graph, and four ViT checkpoints released in our earlier work (Baggett et al., 2026). Using these checkpoints, a 1D residual CNN, and six architectures trained under the XRDBench recipe (Cao et al., 2025), we show that evaluation design changes what conclusions are justified: paired tests point in different directions at Top-1 and Top-5; paired Top-k tests do not separate the three leading XRDBench models, while hierarchy-aware analysis describes error distance and direction across all six; an input-blind frequency predictor matches the models on aggregate Top-k, yet a label-permutation test still detects pattern-specific evidence; and stratified analysis exposes a label-entropy confound that aggregate accuracy hides. All mapping tables, benchmark code, scripts, and checkpoints are released as shared infrastructure for PXRD-ML evaluation.
- Abstract(参考訳): 粉末回折(PXRD)対称性分類のための機械学習は大規模に訓練されているが、この分野には共通の評価基準が欠けている。
評価フレームワークであるInformedXRDについて述べる。
(i) 230個の空間群から99個の絶滅基への機械可読写像であって、最も優れたクラス粉末回折は、系統的欠如のみから識別することができる。
二 含意規則をコードとして指定し、凍結したスナップショットから再生し、RRUFF-473、RRUFF-325としてインスタンス化し、小さな例として opXRD-98
三 事前のみの周波数ベースライン、ラベル置換試験、凝縮した変換エングレッシュ部分群グラフ上の階層的エラーメトリクス、および階層化評価を含む報告プロトコル。
マッピング、RRUFFベンチマーク、サブグループグラフ、および初期の作業(Baggett et al , 2026)でリリースされた4つのViTチェックポイントに基づいて構築します。
これらのチェックポイント, 1D残差CNN, および XRDBench レシピ (Cao et al , 2025) に基づいてトレーニングされた6つのアーキテクチャを用いて, 評価設計がどの結論が正当であるかを判断することを示す。
すべてのマッピングテーブル、ベンチマークコード、スクリプト、チェックポイントは、PXRD-ML評価のための共有インフラストラクチャとしてリリースされている。
関連論文リスト
- Auditing VLM Benchmarks from Existing Evaluation Runs [0.0]
視覚検出器モデル(VLM)のすべての評価実行によって生成される1回の探究アーチファクト
追加の監査層 VLMEvalKit: 6つの検出器が保存出力上の後処理検出器として動作する。
追加のテキストのみのテキストのみの再実行で、クエスト毎のレポートを出力する視覚的な入力が削除された。
論文 参考訳(メタデータ) (2026-10-09T13:05:22Z) - Benchmarking Neural Defend ARCAS 1B: A Foundational Multimodal Deepfake Detection Model [1.8241268937128006]
本稿では,ベンチマーク固有のパラメータを更新することなく,ベンチマークファミリ間のニューラルデペンドARCAS 1Bを評価する。
ベンチマークネイティブの結果をプールされたサマリーと区別することにより、テスト人口、クラスバランス、記録の欠如を可視化する。
論文 参考訳(メタデータ) (2026-09-21T09:15:02Z) - Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。
生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。
どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
論文 参考訳(メタデータ) (2026-08-30T20:00:17Z) - Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation [47.29900218955283]
相互情報推定は、機械学習と統計学における中心的な問題である。
既存のベンチマークでは、単純化された低次元分布上の推定器を評価し、複雑な現実的なデータに対する性能はほとんど探索されていない。
我々はこのギャップを、統一されたコプラ理論の観点から、包括的なベンチマークフレームワークで解決する。
論文 参考訳(メタデータ) (2026-07-03T16:55:55Z) - Speculative Refinement: A Hybrid Autoregressive Diffusion Decoding Strategy and Its Behavior Across Benchmarks [1.9800951131982487]
我々はSpecRef(Speculative Refinement)を用いて、ARドラフトからマスク付き拡散言語モデルをウォームスタートする。
We evaluate SpecRef across six benchmarks (HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag) with three distinct evaluation protocol。
これらの観察は、多段階または非自己回帰生成パイプラインに適用され、より診断評価の実践に向けて向けられる。
論文 参考訳(メタデータ) (2026-06-25T18:52:24Z) - CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation [18.187891198793455]
CausalReasoningBenchmarkは、128の現実世界のデータセットにわたる173のクエリのベンチマークである。
因果推論における失敗と数値実行における誤りを区別する。
論文 参考訳(メタデータ) (2026-02-24T05:44:25Z) - Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。
MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。
本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2026-02-08T16:06:12Z) - SCORE: A Semantic Evaluation Framework for Generative Document Parsing [2.5101597298392098]
マルチモーダル生成文書解析システムは意味論的に正しいが構造的に異なる出力を生成する。
従来のメトリクス-CER, WER, IoU, TEDS-misclassized such diversity as error, penalizing valid interpretations and obscuring system behavior。
SCORE, (i) 調整した編集距離を頑健な内容の忠実度と統合する解釈非依存のフレームワーク, (ii) トークンレベルの診断で幻覚と排便を区別する, (iii) 空間的寛容とセマンティックアライメントによるテーブル評価, (iv) 階層対応の整合性チェックを紹介する。
論文 参考訳(メタデータ) (2025-09-16T16:06:19Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。
本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文 参考訳(メタデータ) (2022-05-25T15:26:48Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳(メタデータ) (2020-06-08T07:24:33Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。