論文の概要: Looking Under the Streetlight: Evaluation in Generative Molecular Dynamics

• arxiv url: http://arxiv.org/abs/2610.12518v1
• Date: Wed, 07 Oct 2026 20:25:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.213348
• Title: Looking Under the Streetlight: Evaluation in Generative Molecular Dynamics
• Title（参考訳）: 街灯を眺めて : 生成分子動力学における評価
• Abstract要約: 現在の評価では、モデルは、主張されたことに対して任意に間違っている間に報告されるものと一致させることができる。 これは、一般的な評価実践と、フィールドがそれ自体に設定する科学的タスクの間の構造的な不整合を反映している。
• 参考スコア（独自算出の注目度）: 11.316247605466566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This position paper argues that the generative molecular dynamics (GenMD) community is not properly evaluating its progress: current evaluations let a model match what is reported while being arbitrarily wrong on what was claimed, which risks over-claiming advantage over classical baselines. This reflects a structural misalignment between common evaluation practices and the scientific tasks the field sets for itself. The reason is that the ground truth---exhaustive molecular dynamics on the systems of interest---is computationally costly, and this cost is what motivates the field. With ground truth inaccessible, evaluation drifts toward convenient proxies, and the resulting norms entrench easily. We identify misaligned evaluation patterns that persist as a community-level equilibrium, and propose concrete observables, reporting standards, and benchmark designs, both computational and experimental, that better reflect what GenMD aspires to deliver. Our aim is to give the field shared language and tools for evaluation that match its scientific ambitions before today's conventions calcify into norms.
• Abstract（参考訳）: 本論文は、生成分子動力学(GenMD)コミュニティが、その進歩を適切に評価していないことを論じる。 これは、一般的な評価実践と、フィールドがそれ自体に設定する科学的タスクの間の構造的な不整合を反映している。 理由は、-関心の系における分子動力学の根底にある真理---計算的にコストがかかり、このコストが分野を動機付けているからである。 地上の真理が到達不可能な場合、評価は便利なプロキシへ向けられ、その結果のノルムは容易に収束する。 我々は、コミュニティレベルの均衡として継続する不整合評価パターンを特定し、GenMDが提供しようとしていることを反映した、具体的な可観測性、報告標準、およびベンチマーク設計を提案する。 我々の目指すのは、今日の慣習が規範化される前に科学的な野望に合致する分野の共通言語と評価ツールを提供することです。

関連論文リスト

• AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era [55.37558486468993]
  AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。 5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。 アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
  論文  参考訳（メタデータ） (2026-09-07T15:19:13Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches [61.30693283718321]
  研究レベルの数学的推論のための動的多重選択ベンチマークであるLiveMathematicianBenchを提案する。 新たに発表された定理で評価を基礎づけることで、記憶されたパターンを超えた現実的なテストベッドを提供する。 このパイプラインは、高レベルな証明戦略を使用して、妥当だが無効な解選択を構築する。
  論文  参考訳（メタデータ） (2026-04-02T08:22:17Z)
• Language Models Surface the Unwritten Code of Science and Society [1.6245906033871593]
  本稿では,大規模言語モデル(LLM)が人間のバイアスをどのように受け継がれるかを研究する研究コミュニティに呼びかける。 本稿では,科学のケーススタディを通じて,ピアレビューに隠されたルールを明らかにする概念的枠組みを紹介する。
  論文  参考訳（メタデータ） (2025-05-25T02:28:40Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。 本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
  FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。 その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
  論文  参考訳（メタデータ） (2023-07-13T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。