論文の概要: On the Learning Mechanisms in Physical Reasoning

• arxiv url: http://arxiv.org/abs/2210.02075v1
• Date: Wed, 5 Oct 2022 07:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 12:42:10.909754
• Title: On the Learning Mechanisms in Physical Reasoning
• Title（参考訳）: 物理推論における学習メカニズムについて
• Authors: Shiqian Li, Kewen Wu, Chi Zhang, Yixin Zhu
• Abstract要約: ダイナミクスからの学習(LfD)と直観からの学習(LfI)の2つの学習メカニズムを比較した。 最初の実験では、これらの2つのメカニズムを検証し、比較した。その結果、単純なLfIは最先端のLfDと同等あるいは同等であることがわかった。 第4の実験では、LfI は力学予測において LfD に劣らず優れていることに注意する。
• 参考スコア（独自算出の注目度）: 26.073462032932245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is dynamics prediction indispensable for physical reasoning? If so, what kind of roles do the dynamics prediction modules play during the physical reasoning process? Most studies focus on designing dynamics prediction networks and treating physical reasoning as a downstream task without investigating the questions above, taking for granted that the designed dynamics prediction would undoubtedly help the reasoning process. In this work, we take a closer look at this assumption, exploring this fundamental hypothesis by comparing two learning mechanisms: Learning from Dynamics (LfD) and Learning from Intuition (LfI). In the first experiment, we directly examine and compare these two mechanisms. Results show a surprising finding: Simple LfI is better than or on par with state-of-the-art LfD. This observation leads to the second experiment with Ground-truth Dynamics, the ideal case of LfD wherein dynamics are obtained directly from a simulator. Results show that dynamics, if directly given instead of approximated, would achieve much higher performance than LfI alone on physical reasoning; this essentially serves as the performance upper bound. Yet practically, LfD mechanism can only predict Approximate Dynamics using dynamics learning modules that mimic the physical laws, making the following downstream physical reasoning modules degenerate into the LfI paradigm; see the third experiment. We note that this issue is hard to mitigate, as dynamics prediction errors inevitably accumulate in the long horizon. Finally, in the fourth experiment, we note that LfI, the extremely simpler strategy when done right, is more effective in learning to solve physical reasoning problems. Taken together, the results on the challenging benchmark of PHYRE show that LfI is, if not better, as good as LfD for dynamics prediction. However, the potential improvement from LfD, though challenging, remains lucrative.
• Abstract（参考訳）: 力学予測は物理的推論に不可欠か? もしそうなら、動的予測モジュールは物理的な推論プロセスでどのような役割を果たすのか? ほとんどの研究は、動的予測ネットワークの設計と、上記の質問を調査することなく、物理推論を下流タスクとして扱うことに集中しており、設計された力学予測が推論プロセスに役立つことは明らかである。 本研究では,この仮定をより深く検討し,2つの学習メカニズム(LfD)と直観からの学習(LfI)を比較して,この基本的な仮説を考察する。 最初の実験では、これらの2つのメカニズムを直接検討し比較する。 単純なLfIは最先端のLfDと同等あるいは同等である。 この観測は、シミュレータから直接動力学が得られるlfdの理想的な場合である、地対地力学の第2の実験に繋がる。 結果は、もし近似の代わりに直接与えられるなら、力学は物理的推論においてLfI単独よりもはるかに高い性能が得られることを示している。 しかし実際には、lfd機構は物理法則を模倣したダイナミクス学習モジュールを使用して近似ダイナミクスを予測できるだけであり、下記の下流の物理的推論モジュールをlfiパラダイムに縮退させる。 ダイナミクスの予測エラーが必然的に長い地平線に蓄積するため、この問題を緩和することは困難である。 最後に、第4の実験において、正しく行うと非常に単純な戦略であるLfIが、物理的推論問題の解法を学ぶ上でより効果的であることに注意する。 まとめると、PHYREの挑戦的なベンチマークの結果は、LfIが力学予測においてLfDに劣らず優れていることを示している。 しかし、LfDによる潜在的な改善は、挑戦的ではあるが、利益を上げ続けている。

関連論文リスト

• LLMPhy: Complex Physical Reasoning Using Large Language Models and World Models [35.01842161084472]
  そこで我々は,TraySimという物理推論タスクとデータセットを提案する。 私たちのタスクは、外部の影響を受けるトレイ上のいくつかのオブジェクトのダイナミクスを予測することです。 LLMの物理知識とプログラム合成能力を活用するゼロショットブラックボックス最適化フレームワークであるLLMPhyを提案する。 この結果から,LLMと物理エンジンの組み合わせにより,最先端のゼロショット物理推論性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-11-12T18:56:58Z)
• On the Inductive Bias of Stacking Towards Improving Reasoning [50.225873619537765]
  言語モデルのトレーニングを最大40%高速化できるMIDASと呼ばれる段階的スタック方式を提案する。 MIDASはトレーニング効率だけでなく、ダウンストリームタスクを改善するための誘導バイアスも備えている。 我々は、この帰納バイアスの根底にある理由を、ループモデルへの積み重ねの接続を探索することによって推測する。
  論文  参考訳（メタデータ） (2024-09-27T17:58:21Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
  グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。 物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。 本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
  論文  参考訳（メタデータ） (2022-10-13T10:00:30Z)
• A Theory of Dynamic Benchmarks [24.170405353348592]
  動的ベンチマークの利点と実用的限界について検討する。 これらの結果は、経験的作業における観察されたボトルネックに関する理論的基礎と因果的説明を提供する。
  論文  参考訳（メタデータ） (2022-10-06T18:56:46Z)
• The Three Stages of Learning Dynamics in High-Dimensional Kernel Methods [14.294357100033954]
  我々は、SGDトレーニングニューラルネットワークの制限力学である、最小二乗目的のフローのトレーニング力学を考察する。 SGDはより複雑な関数を徐々に学習し、「深い勾配」現象が存在することを示す。
  論文  参考訳（メタデータ） (2021-11-13T18:29:36Z)
• Spherical Motion Dynamics: Learning Dynamics of Neural Network with Normalization, Weight Decay, and SGD [105.99301967452334]
  SMD (Spherical Motion Dynamics) と名付けられた, 正規化, 重崩壊 (WD) , SGD (運動量) を伴うニューラルネットワークの学習力学について述べる。 我々は,ImageNet や MSCOCO など様々なコンピュータビジョンタスクにおける仮定と理論的結果を標準設定で検証する。
  論文  参考訳（メタデータ） (2020-06-15T14:16:33Z)
• Understanding Learning Dynamics for Neural Machine Translation [53.23463279153577]
  ロス・チェンジ・アロケーション (LCA)citeplan 2019-loss-change-allocation を用いてNMTの学習力学を理解することを提案する。 LCAは更新毎にデータセット全体の勾配を計算する必要があるため、NMTシナリオで実際に実施するための近似を提示する。 シミュレーション実験により, 近似計算は効率的であり, 実験により一貫した結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-04-05T13:32:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。