論文の概要: Exploring the Limits of Fine-grained LLM-based Physics Inference via Premise Removal Interventions
- arxiv url: http://arxiv.org/abs/2404.18384v2
- Date: Tue, 01 Oct 2024 06:17:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-02 16:32:55.683481
- Title: Exploring the Limits of Fine-grained LLM-based Physics Inference via Premise Removal Interventions
- Title(参考訳): プリミズ除去による微粒LDMによる物理推論の限界探索
- Authors: Jordan Meadows, Tamsin James, Andre Freitas,
- Abstract要約: 言語モデル(LM)は複雑な数学的推論を行う際に幻覚を与える。
物理的な文脈では、記号的な操作は複雑な意味論を満たすことが要求される。
この設定では、LMsの数学的推論は物理学的インフォームドされていない。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Language models (LMs) can hallucinate when performing complex mathematical reasoning. Physics provides a rich domain for assessing their mathematical capabilities, where physical context requires that any symbolic manipulation satisfies complex semantics (\textit{e.g.,} units, tensorial order). In this work, we systematically remove crucial context from prompts to force instances where model inference may be algebraically coherent, yet unphysical. We assess LM capabilities in this domain using a curated dataset encompassing multiple notations and Physics subdomains. Further, we improve zero-shot scores using synthetic in-context examples, and demonstrate non-linear degradation of derivation quality with perturbation strength via the progressive omission of supporting premises. We find that the models' mathematical reasoning is not physics-informed in this setting, where physical context is predominantly ignored in favour of reverse-engineering solutions.
- Abstract(参考訳): 言語モデル(LM)は複雑な数学的推論を行う際に幻覚を与える。
物理学は、それらの数学的能力を評価するための豊富な領域を提供しており、物理的な文脈では、いかなる記号的操作も複雑な意味論(\textit{e g ,} 単位、テンソル次数)を満たすことが要求される。
本研究では、モデル推論が代数的コヒーレントでありながら非物理的であるような場合において、プロンプトから決定的な文脈を体系的に取り除く。
我々は、複数の表記と物理サブドメインを含むキュレートされたデータセットを用いて、この領域におけるLM機能を評価する。
さらに, 合成インコンテクスト例を用いてゼロショットスコアを改良し, 支持地盤の進行除去による摂動強度による導出品質の非線形劣化を実証した。
この設定では、このモデルの数学的推論は物理学にインフォームドされていないことが分かり、物理的文脈は逆エンジニアリングの解を好んで無視される。
関連論文リスト
- Counterfactual and Semifactual Explanations in Abstract Argumentation: Formal Foundations, Complexity and Computation [19.799266797193344]
議論ベースのシステムは、意思決定プロセスをサポートしながら説明責任を欠くことが多い。
対実的・半実的な説明は解釈可能性のテクニックである。
本稿では,制約の弱いArgumentation Frameworkにおいて,逆ファクトおよび半ファクトのクエリを符号化可能であることを示す。
論文 参考訳(メタデータ) (2024-05-07T07:27:27Z) - ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [90.97595947781426]
ContPhyは、マシン物理常識を評価するための新しいベンチマークである。
私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。
また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
論文 参考訳(メタデータ) (2024-02-09T01:09:21Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - math-PVS: A Large Language Model Framework to Map Scientific
Publications to PVS Theories [10.416375584563728]
本研究では,大規模言語モデル(LLM)の高度な数学的概念の定式化への適用性について検討する。
我々は、研究論文から数学的定理を抽出し、形式化する、Emphmath-PVSと呼ばれる自動過程を構想する。
論文 参考訳(メタデータ) (2023-10-25T23:54:04Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-10-10T13:23:05Z) - Deep symbolic regression for physics guided by units constraints: toward
the automated discovery of physical laws [0.0]
シンボリック回帰(英: Symbolic Regression)は、データに適合する解析式を自動検索するアルゴリズムの研究である。
解析記号表現を物理データから復元するフレームワークである$Phi$-SOを提案する。
論文 参考訳(メタデータ) (2023-03-06T16:47:59Z) - On Binding Objects to Symbols: Learning Physical Concepts to Understand
Real from Fake [155.6741526791004]
我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。
物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。
我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
論文 参考訳(メタデータ) (2022-07-25T17:21:59Z) - Symmetry Group Equivariant Architectures for Physics [52.784926970374556]
機械学習の分野では、対称性に対する認識が目覚ましいパフォーマンスのブレークスルーを引き起こしている。
物理学のコミュニティと、より広い機械学習のコミュニティの両方に、理解すべきことがたくさんある、と私たちは主張する。
論文 参考訳(メタデータ) (2022-03-11T18:27:04Z) - PhysNLU: A Language Resource for Evaluating Natural Language
Understanding and Explanation Coherence in Physics [1.4123037008246728]
本稿では,言語モデルの性能を評価するために開発されたデータセットの集合について述べる。
データの解析は、物理学の談話で最もよく見られる方程式やサブディシデントを明らかにする。
物理におけるコヒーレンス関連タスクによって現代言語モデルがどのように挑戦されているかを示すベースラインを提示する。
論文 参考訳(メタデータ) (2022-01-12T02:32:40Z) - Scalable Differentiable Physics for Learning and Control [99.4302215142673]
微分物理学は、物理的対象や環境を含む問題を学習し、制御するための強力なアプローチである。
我々は、多数のオブジェクトとその相互作用をサポートすることができる微分可能物理学のためのスケーラブルなフレームワークを開発する。
論文 参考訳(メタデータ) (2020-07-04T19:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。