論文の概要: Testing Frontier Large Language Models' Physics Literacy in Parallel Physical Worlds

• arxiv url: http://arxiv.org/abs/2607.00276v1
• Date: Tue, 30 Jun 2026 23:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.665081
• Title: Testing Frontier Large Language Models' Physics Literacy in Parallel Physical Worlds
• Title（参考訳）: 並列物理世界における大規模言語モデルの物理リテラシーの検証
• Abstract要約: そこで本研究では,LLMが未知の物理フレームワーク内で理にかなうことができるかどうかを評価するための,監査可能な4段階診断手法を提案する。 この診断には、ロックされた事前登録、ステージ間の新鮮なセッション、デュアルLLM判定、および人間の監査経路が組み合わされている。 クロードオプス4.7、GPT-5.5、ジェミニ3.1 Proの3つの世界はそれぞれ6/15、6/15、0/15である。
• 参考スコア（独自算出の注目度）: 8.965092869576262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current large-language-model (LLM) physics benchmarks are usually scored by answer accuracy, which cannot distinguish genuine reasoning from recall of familiar problem patterns and reveals little about where a model's reasoning breaks down. We introduce an auditable four-stage diagnostic that evaluates whether an LLM can reason inside an unfamiliar physics framework through induction, formulation, prediction, and review. The diagnostic combines locked pre-registrations, fresh sessions between stages, dual-LLM judging, and a human-audit pathway, and we apply it to three parallel physics worlds: a single-equation counterfactual world ($F=mv$), a historical framework (Aristotelian mechanics), and a four-domain counterfactual world (Decay World). Across Claude Opus 4.7, GPT-5.5, and Gemini 3.1 Pro, the three worlds yield composite PASS rates are 6/15, 6/15, and 0/15 respectively (content $\land$ structural for $F=mv$ and Aristotelian, content axis only for Decay World where the structural axis is out of scope). The most pointed empirical pattern is a qualitative-versus-quantitative asymmetry: in Decay World, models almost never predict the wrong direction of change, but frequently compute the wrong ratio by slipping back to standard-physics relations. The protocol also surfaces two methodology findings: LLM-judge reliability does not transfer across frameworks, and Stage 4 self-review is weak in every framework, with the model's own review wrongly reporting no earlier error in at least two-thirds of the trials that actually contained one. We release the full prompts, responses, verdicts, and audit records.
• Abstract（参考訳）: 現在の大言語モデル(LLM)の物理ベンチマークは通常、解答精度によって評価されるが、これはよく知られた問題パターンのリコールから真の推論を区別することができず、モデルの推論がどこで故障するかはほとんど明らかにしない。 本報告では, LLMが誘導, 定式化, 予測, レビューを通じて, 未知の物理フレームワーク内で推論できるかどうかを評価するための, 監査可能な4段階診断手法を提案する。 この診断は、ロックされた事前登録、ステージ間の更新セッション、二重LLM判定、および人間の監査経路を組み合わせ、それを3つのパラレル物理学の世界、すなわち単一方程式対実世界(F=mv$)、歴史的枠組み(アリストテレス力学)、および4領域対実世界(デカイ世界)に適用する。 クロードオプス4.7、GPT-5.5、ジェミニ3.1 Proの3つの世界のPASSは、それぞれ6/15、6/15、0/15である(コンテント$\land$ Structure for $F=mv$とAristotelianは、構造軸がスコープ外であるディケーワールドのみのコンテンツ軸である)。 最も指摘されている経験的パターンは定性的・対数的非対称性(英語版)であり、ディケイ・ワールド(英語版)では、モデルは変化の間違った方向をほとんど予測しないが、標準物理学関係に逆戻りすることでしばしば間違った比を計算する。 LLM-judgeの信頼性はフレームワーク間で伝達されず、Stage 4の自己レビューはすべてのフレームワークで弱い。 私たちは、すべてのプロンプト、レスポンス、判断、監査記録をリリースします。

関連論文リスト

• One Model, Two Physical Stories: Auditing Misalignment in Multi-Modal World Modeling [2.3869847763504715]
  EmphInternal misalignment と emphexternal misalignment の2つの失敗に焦点を当てる イベント、マグニチュード、タイミングの共通コントラクトを導出し、比較を測定可能な物理基底パイプラインを構築します。 4つのメカニズムと20の設定で、言語が22のテキストプローブすべてに対して、真の環境に関して正しく答えているのに対して、中立的なビデオは、しばしば不一致である。
  論文  参考訳（メタデータ） (2026-09-13T22:56:58Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation [0.0]
  フェデレーションクラスをフロンティアの大規模言語モデルで文書化する。 故障は最初の観測で再現されるが、経験的表面は不安定である。 規制されたフロンティアモデルの正確性は、注意を払わずにシフトする移動したコンプライアンス境界である。
  論文  参考訳（メタデータ） (2026-07-25T22:40:02Z)
• Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence [54.58886283991723]
  Apple-PIは、物理法則でビデオモデルの評価を明示的に固定する最初のベンチマークである。 Apple-PIは3つのコンポーネントから構成される。 ベンチマーク11モデルは、現在のビデオモデルが信頼性の高い地上のワールドシミュレータから遠く離れていることを示している。
  論文  参考訳（メタデータ） (2026-07-17T18:00:05Z)
• TS-Fault: Benchmarking Time Series Forecasters Against Structural Faults [22.88447833683736]
  時系列予測(TSF)は、エネルギー、輸送、金融、医療の連続的な決定を支えている。 TSFモデルは、デプロイされた信頼性を予測するという暗黙の仮定の下で、クリーンなホールトアウトデータ上の1つの数でほぼ普遍的にランク付けされる。 TS-Faultは、制御可能な意味的難易度を持つ明示的でパラメータ化された障害シナリオの下で予測モデルを評価するベンチマークである。
  論文  参考訳（メタデータ） (2026-06-16T23:15:20Z)
• Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
  グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。 MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。 この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T07:42:47Z)
• Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation [0.0]
  大規模言語モデルが学習知識と矛盾する文書の相違にどのように対処するかを考察する。 本稿では,Regime 1 (単一ソース更新),Regime 2 (競合統合),Regime 3 (タスクに適した選択)という3つの登録フレームワークを提案する。 我々はClaude Sonnet 4.6、GPT-5.5、Gemini 2.5 Flash、Llama 4 Maverick、DeepSeek V3の3つの実験段階で9,970のAPIコールを使用してフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-05-12T06:00:48Z)
• LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches [61.30693283718321]
  研究レベルの数学的推論のための動的多重選択ベンチマークであるLiveMathematicianBenchを提案する。 新たに発表された定理で評価を基礎づけることで、記憶されたパターンを超えた現実的なテストベッドを提供する。 このパイプラインは、高レベルな証明戦略を使用して、妥当だが無効な解選択を構築する。
  論文  参考訳（メタデータ） (2026-04-02T08:22:17Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies [16.537126902822127]
  PRISMM-Benchは、科学論文において、実際のレビュアーがフラッグした不整合に基づいた最初のベンチマークである。 不整合同定、治療、ペアマッチングという3つのタスクを設計し、不整合の検出、修正、推論を行うモデルの能力を評価する。 我々は、大きなオープンウェイトモデル(GLM-4.5V 106B、InternVL3 78B)やプロプライエタリモデル(Gemini 2.5 Pro、GPT-5)を含む21のLMMをベンチマークした。
  論文  参考訳（メタデータ） (2025-10-18T13:46:26Z)
• Diffusion Bridge or Flow Matching? A Unifying Framework and Comparative Analysis [57.614436689939986]
  拡散ブリッジとフローマッチングは、任意の分布間の変換において魅力的な経験的性能を示した。 我々は,これらのフレームワークを最適制御のレンズを通して再キャストし,拡散橋のコスト関数が低いことを証明した。 これらの理論的主張を裏付けるために,潜伏変圧器上に構築された拡散橋の新しい強力なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-09-29T09:45:22Z)
• PhyX: Does Your Model Have the "Wits" for Physical Reasoning? [49.083544963243206]
  既存のベンチマークでは、物理的な推論という、インテリジェンスの重要な側面を捉えられません。 視覚シナリオにおける物理基底推論のモデルキャパシティを評価するために設計された,最初の大規模ベンチマークであるPhyXを紹介する。
  論文  参考訳（メタデータ） (2025-05-21T18:33:50Z)
• WorldSense: A Synthetic Benchmark for Grounded Reasoning in Large Language Models [35.088946378980914]
  我々は3つの最先端チャットLLM(GPT3.5、GPT4、Llama2-chat)上でベンチマークを実行する。 これらのモデルが3つのオブジェクトでもエラーを発生させることを示す。 エラーは、チェーン・オブ・コンテクストのプロンプトやイン・コンテクストの学習でも継続する。
  論文  参考訳（メタデータ） (2023-11-27T15:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。