論文の概要: PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors

• arxiv url: http://arxiv.org/abs/2507.15550v2
• Date: Sun, 26 Oct 2025 07:14:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.40343
• Title: PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors
• Title（参考訳）: PhysGym: 制御プリミティブによる対話型物理発見におけるLLMのベンチマーク
• Authors: Yimeng Chen, Piotr Piȩkos, Mateusz Ostaszewski, Firas Laakom, Jürgen Schmidhuber,
• Abstract要約: textscPhysGymは、LSMベースの科学的推論を厳格に評価するための、新しいベンチマークスイートとシミュレーションプラットフォームである。 textscPhysGymの主な貢献は、エージェントに提供された事前知識のレベルを高度に制御することにある。
• 参考スコア（独自算出の注目度）: 29.988641224102164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the scientific discovery capabilities of large language model based agents, particularly how they cope with varying environmental complexity and utilize prior knowledge, requires specialized benchmarks currently lacking in the landscape. To address this gap, we introduce \textsc{PhysGym}, a novel benchmark suite and simulation platform for rigorously assessing LLM-based scientific reasoning in interactive physics environments. \textsc{PhysGym}'s primary contribution lies in its sophisticated control over the level of prior knowledge provided to the agent. This allows researchers to dissect agent performance along axes including the complexity of the problem and the prior knowledge levels. The benchmark comprises a suite of interactive simulations, where agents must actively probe environments, gather data sequentially under constraints and formulate hypotheses about underlying physical laws. \textsc{PhysGym} provides standardized evaluation protocols and metrics for assessing hypothesis accuracy and model fidelity. We demonstrate the benchmark's utility by presenting results from baseline LLMs, showcasing its ability to differentiate capabilities based on varying priors and task complexity.
• Abstract（参考訳）: 大規模言語モデルに基づくエージェントの科学的発見能力の評価、特に環境の複雑さに対処し、事前知識を活用するには、現在ランドスケープに欠けている特別なベンチマークが必要である。 このギャップに対処するために,対話型物理環境における LLM に基づく科学的推論を厳格に評価するためのベンチマークスイートとシミュレーションプラットフォームである \textsc{PhysGym} を紹介した。 textsc{PhysGym} の主な貢献は、エージェントに提供される事前知識のレベルを高度に制御することにある。 これにより、研究者は、問題の複雑さや事前知識レベルなど、エージェントのパフォーマンスを軸に沿って判別することができる。 このベンチマークでは、エージェントが環境を積極的に調査し、制約の下でデータを逐次収集し、基礎となる物理法則に関する仮説を定式化しなければならない。 \textsc{PhysGym} は、仮説精度とモデル忠実度を評価するための標準化された評価プロトコルとメトリクスを提供する。 ベンチマークの有用性を,ベースラインLLMの結果を提示し,様々な事前やタスクの複雑さに基づいて,その能力の差別化能力を示す。

関連論文リスト

• GRACE: an Agentic AI for Particle Physics Experiment Design and Simulation [0.0]
  GRACEは、高エネルギー・核物理学における自律的な実験設計のためのシミュレーションネイティブエージェントである。 第一原理モンテカルロ法による設計変更を自律的に探索する。 それは、繰り返しシミュレーション、物理動機付きユーティリティ機能、予算対応エスカレーションを通じて、候補設計を評価する。
  論文  参考訳（メタデータ） (2026-01-31T01:12:55Z)
• Opportunities in AI/ML for the Rubin LSST Dark Energy Science Collaboration [63.61423859450929]
  この白書は、DESCの主要な宇宙探査と横断的分析を通して、AI/MLの現在の状況を調査している。 本研究では,大規模ベイズ推定,物理インフォームド手法,検証フレームワーク,発見のための能動的学習など,主要な方法論研究の優先事項を明らかにする。
  論文  参考訳（メタデータ） (2026-01-20T18:46:42Z)
• SciIF: Benchmarking Scientific Instruction Following Towards Rigorous Scientific Intelligence [60.202862987441684]
  科学的妥当性を確立する制約に厳格に固執しながら、問題を解決する能力。 具体的には,大学レベルの問題と制約の固定されたカタログをペアにすることで,この能力を評価するマルチディシプリンのベンチマークであるSciIFを紹介する。 SciIFは、解の正当性と多拘束性の両方を測定することにより、構成的推論失敗のきめ細かい診断を可能にする。
  論文  参考訳（メタデータ） (2026-01-08T09:45:58Z)
• HeurekaBench: A Benchmarking Framework for AI Co-scientist [2.206319727896241]
  HeurekaBenchは、実験データセットに対する探索的でオープンな研究質問を伴うベンチマークを作成するためのフレームワークである。 単細胞生物学のフレームワークをインスタンス化し、Sc-HeurekaBenchベンチマークを取得し、最先端の単細胞エージェントと比較する。 批判モジュールを追加することで、オープンソースLLMエージェントの不正な応答を最大22%改善し、クローズドソースエージェントとのギャップを埋めることができる。
  論文  参考訳（メタデータ） (2026-01-04T22:16:42Z)
• AInsteinBench: Benchmarking Coding Agents on Scientific Repositories [33.48206557020983]
  AInsteinBenchは、大規模言語モデル(LLM)エージェントが科学計算開発エージェントとして動作するかどうかを評価するための大規模なベンチマークである。 AInsteinBenchは、表面レベルのコード生成を超えて、計算科学研究に必要なコア能力に移行するモデルの能力を測定する。
  論文  参考訳（メタデータ） (2025-12-24T08:11:11Z)
• From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
  我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。 このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。 評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-22T18:58:12Z)
• PRiSM: An Agentic Multimodal Benchmark for Scientific Reasoning via Python-Grounded Evaluation [7.0748516420242495]
  PRiSMは、基底Pythonコードによる科学的推論を評価するための、合成、完全に動的、マルチモーダルベンチマークである。 PRiSMには24750以上の大学レベルの物理学と数学の問題が含まれており、スケーラブルなエージェントベースのパイプラインであるPrismAgentを活用しています。 本稿では,摂動,記号型プログラム合成,ロバスト性,推論補正,あいまいさ解消を対象とする5つの評価課題を提案する。
  論文  参考訳（メタデータ） (2025-12-05T18:14:55Z)
• SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
  SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。 実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。 回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
  論文  参考訳（メタデータ） (2025-11-29T09:18:39Z)
• Can Theoretical Physics Research Benefit from Language Agents? [50.57057488167844]
  大規模言語モデル(LLM)は、様々な領域にわたって急速に進歩しているが、理論物理学研究への応用はまだ成熟していない。 このポジションペーパーは、LLMエージェントが、ドメイン知識やツールボックスと適切に統合された場合、理論的、計算的、応用物理学を加速するのに役立つと主張している。 マルチモーダルデータを処理し、検証可能な仮説を提案し、設計実験を行う物理特殊化LSMを構想する。
  論文  参考訳（メタデータ） (2025-06-06T16:20:06Z)
• MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback [136.27567671480156]
  先行テストからのフィードバックに基づいて仮説を優先順位付けする実験誘導ランキングを導入する。 我々は、シーケンシャルな意思決定問題として実験誘導型ランキングを定めている。 我々のアプローチは、実験前のベースラインと強い改善を著しく上回る。
  論文  参考訳（メタデータ） (2025-05-23T13:24:50Z)
• APEX: Empowering LLMs with Physics-Based Task Planning for Real-time Insight [3.5385022178794805]
  APEX(Anticipatory Physics-Enhanced Execution)は、大規模言語モデルに物理駆動型フォレストを組み、リアルタイムタスク計画のためのフレームワークである。 APEX は標準の LLM や VLM ベースのモデルを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-20T04:34:58Z)
• Benchmarking LLMs' Swarm intelligence [50.544186914115045]
  大規模言語モデル(LLM)は複雑な推論の可能性を秘めているが、マルチエージェントシステム(MAS)における創発的協調の能力はほとんど探索されていない。 分散エージェントとして機能するLDMのタスクを体系的に評価する新しいベンチマークであるSwarmBenchを紹介する。 本稿では,協調効率の指標を提案し,創発的グループダイナミクスを解析する。
  論文  参考訳（メタデータ） (2025-05-07T12:32:01Z)
• Physics-Learning AI Datamodel (PLAID) datasets: a collection of physics simulations for machine learning [0.15469999759898032]
  PLAIDは物理シミュレーションのデータセットを表現および共有するためのフレームワークである。 PLAIDはシミュレーションデータを記述するための統一標準を定義する。 PLAID標準の下で,構造力学と計算流体力学を網羅した6つのデータセットをリリースする。
  論文  参考訳（メタデータ） (2025-05-05T18:59:17Z)
• Auto-Bench: An Automated Benchmark for Scientific Discovery in LLMs [23.608962459019278]
  自然科学と社会科学の両方において科学的発見のための大規模言語モデル(LLM)を評価するための新しいベンチマークを導入する。 我々のベンチマークは因果グラフ発見の原理に基づいており、隠れ構造を発見し、有効な正当性を生成することを含む最適な決定を行うためのモデルに挑戦する。 我々は,GPT-4,Gemini,Qwen,Claude,Llamaを含む最先端のLCMを評価し,問題を複雑化するにつれて性能低下を観測した。
  論文  参考訳（メタデータ） (2025-02-21T05:35:20Z)
• MAPS: Advancing Multi-Modal Reasoning in Expert-Level Physical Science [62.96434290874878]
  現在のMLLM(Multi-Modal Large Language Models)は、一般的な視覚的推論タスクにおいて強力な機能を示している。 我々は,MLLMに基づく物理知覚とシミュレーションによるマルチモーダル科学推論(MAPS)という新しいフレームワークを開発した。 MAPSは、専門家レベルのマルチモーダル推論タスクを物理的知覚モデル(PPM)を介して物理図理解に分解し、シミュレータを介して物理的知識で推論する。
  論文  参考訳（メタデータ） (2025-01-18T13:54:00Z)
• Using Machine Learning to Discover Parsimonious and Physically-Interpretable Representations of Catchment-Scale Rainfall-Runoff Dynamics [1.1510009152620668]
  機械学習の未調査の側面は、システム機能に関するより良い洞察を促進するために、最小限の最適表現を開発する方法である。 我々の見解では、MLに基づくモデリングは、物理的概念的意味において本質的に容易に解釈できる計算単位をベースとすべきである。 ラムプ・モデリングの文脈では、物理的解釈可能性と予測性能は、相対的に類似した分散状態のマルチフロー・パス・ネットワークを用いて達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-12-06T08:30:01Z)
• LLMPhy: Complex Physical Reasoning Using Large Language Models and World Models [35.01842161084472]
  そこで我々は,TraySimという物理推論タスクとデータセットを提案する。 私たちのタスクは、外部の影響を受けるトレイ上のいくつかのオブジェクトのダイナミクスを予測することです。 LLMの物理知識とプログラム合成能力を活用するゼロショットブラックボックス最適化フレームワークであるLLMPhyを提案する。 この結果から,LLMと物理エンジンの組み合わせにより,最先端のゼロショット物理推論性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-11-12T18:56:58Z)
• LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
  本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。 本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。 法発見と分子設計における枠組みの有効性を実証するための実験を行った。
  論文  参考訳（メタデータ） (2024-05-16T03:04:10Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
  本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。 PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。 提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-27T14:39:41Z)
• An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
  我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。 本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
  論文  参考訳（メタデータ） (2021-08-09T17:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。