論文の概要: VisionLaw: Inferring Interpretable Intrinsic Dynamics from Visual Observations via Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2508.13792v1
• Date: Tue, 19 Aug 2025 12:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.921978
• Title: VisionLaw: Inferring Interpretable Intrinsic Dynamics from Visual Observations via Bilevel Optimization
• Title（参考訳）: VisionLaw: 双方向最適化による視覚観測から解釈可能な固有ダイナミクスを推定する
• Authors: Jailing Lin, Shu Jiang, Qingyuan Zeng, Zhenzhong Wang, Min Jiang,
• Abstract要約: VisionLawは、視覚的な観察から固有の力学の解釈可能な表現を推論する二段階最適化フレームワークである。 既存の最先端手法を著しく上回り、新しいシナリオにおける対話型シミュレーションの強力な一般化を示す。
• 参考スコア（独自算出の注目度）: 3.131272328696594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The intrinsic dynamics of an object governs its physical behavior in the real world, playing a critical role in enabling physically plausible interactive simulation with 3D assets. Existing methods have attempted to infer the intrinsic dynamics of objects from visual observations, but generally face two major challenges: one line of work relies on manually defined constitutive priors, making it difficult to generalize to complex scenarios; the other models intrinsic dynamics using neural networks, resulting in limited interpretability and poor generalization. To address these challenges, we propose VisionLaw, a bilevel optimization framework that infers interpretable expressions of intrinsic dynamics from visual observations. At the upper level, we introduce an LLMs-driven decoupled constitutive evolution strategy, where LLMs are prompted as a knowledgeable physics expert to generate and revise constitutive laws, with a built-in decoupling mechanism that substantially reduces the search complexity of LLMs. At the lower level, we introduce a vision-guided constitutive evaluation mechanism, which utilizes visual simulation to evaluate the consistency between the generated constitutive law and the underlying intrinsic dynamics, thereby guiding the upper-level evolution. Experiments on both synthetic and real-world datasets demonstrate that VisionLaw can effectively infer interpretable intrinsic dynamics from visual observations. It significantly outperforms existing state-of-the-art methods and exhibits strong generalization for interactive simulation in novel scenarios.
• Abstract（参考訳）: オブジェクトの本質的なダイナミクスは、現実世界における物理的な振る舞いを制御し、3Dアセットによる物理的に妥当なインタラクティブなシミュレーションを可能にする上で重要な役割を担っている。 既存の手法では、視覚的な観察から対象の本質的なダイナミクスを推測しようと試みているが、一般的には2つの大きな課題に直面している: 1行の作業は手作業で定義された構成的事前に依存し、複雑なシナリオに一般化することが困難である。 これらの課題に対処するため、視覚観測から固有力学の解釈可能な表現を推論する二段階最適化フレームワークVisionLawを提案する。 上層部では、LLMの探索複雑性を著しく低減する組込みデカップリング機構を用いて、LLMを知識のある物理専門家として推し進め、構成法則を生成・修正する構成進化戦略を導入する。 下層では、視覚シミュレーションを利用して、生成した構成則と基礎となる固有力学の整合性を評価し、上層階の進化を導く視覚誘導構成評価機構を導入する。 合成データセットと実世界のデータセットの両方の実験により、VisionLawは視覚観察から解釈可能な固有ダイナミクスを効果的に推論できることが示されている。 既存の最先端手法を著しく上回り、新しいシナリオにおける対話型シミュレーションの強力な一般化を示す。

関連論文リスト

• Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models [22.535916867005955]
  LVLM(Large Vision-Language Models)は、視覚言語タスクにおいて優れた性能を示すが、幻覚に苦しむ。 本研究では,幻覚軽減のためのトレーニング不要アプローチである動的マルチモーダルアクティベーションステアリングを提案する。
  論文  参考訳（メタデータ） (2026-02-25T09:10:00Z)
• From Perception to Action: An Interactive Benchmark for Vision Reasoning [51.11355591375073]
  Causal Hierarchy of Actions and Interactions (CHAIN)ベンチマークは、モデルが物理的制約に基づいて構造化されたアクションシーケンスを理解し、計画し、実行できるかを評価するために設計された。 CHAINは、受動的知覚からアクティブな問題解決、機械パズルのインターロックや3D積み重ね、パッキングといったタスクへと評価をシフトする。 以上の結果から,トップパフォーマンスモデルでは,物理構造や因果制約の内在化に苦慮し,信頼性の高い長期計画の作成に失敗することが多く,認識された構造を効果的に翻訳することができないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-24T15:33:02Z)
• \ extsc{NaVIDA}: Vision-Language Navigation with Inverse Dynamics Augmentation [50.027425808733994]
  textscNaVIDAは、ポリシー学習とアクショングラウンドの視覚力学と適応実行を結合した統合VLNフレームワークである。 textscNaVIDAは、チャンクベースの逆ダイナミクスによるトレーニングを強化し、視覚変化と対応するアクションの因果関係を学習する。 実験の結果,textscNaVIDAはパラメータが少ない最先端の手法に比べてナビゲーション性能が優れていることがわかった。
  論文  参考訳（メタデータ） (2026-01-26T06:16:17Z)
• Learning to Act Robustly with View-Invariant Latent Actions [8.446887947386559]
  視覚に基づくロボットポリシーは、視界不変の視覚表現の必要性を強調し、小さな視点の変化に苦しむことが多い。 本研究では,ビュー不変遅延行動 (VILA) を提案する。これは,物理力学に基づくビュー不変表現を学習するために,トラジェクトリ間で遷移パターンをキャプチャする潜在動作をモデル化する。 シミュレーションと実世界の双方の実験から、VILAベースのポリシーは見当たらない視点に効果的に一般化し、新しいタスクにうまく移行することが示された。
  論文  参考訳（メタデータ） (2026-01-06T13:14:01Z)
• Do-Undo: Generating and Reversing Physical Actions in Vision-Language Models [57.71440995598757]
  我々は,視覚言語モデルにおける重要なギャップに対処するために,Do-Undoタスクとベンチマークを導入する。 Do-Undoは、物理的な行動の結果をシミュレートし、それを正確に反転させるモデルを必要とし、視覚の世界における真の原因と効果を反映している。
  論文  参考訳（メタデータ） (2025-12-15T18:03:42Z)
• LTD-Bench: Evaluating Large Language Models by Letting Them Draw [57.237152905238084]
  LTD-Benchは、大規模言語モデル(LLM)のブレークスルーベンチマークである。 LLMの評価を抽象的なスコアから直接観察可能な視覚出力に変換する。 LTD-Benchの視覚出力は強力な診断分析を可能にし、モデル類似性を調べるための潜在的アプローチを提供する。
  論文  参考訳（メタデータ） (2025-11-04T08:11:23Z)
• Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
  VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。 本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。 G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
  論文  参考訳（メタデータ） (2025-10-09T09:08:33Z)
• Unveiling the Actual Performance of Neural-based Models for Equation Discovery on Graph Dynamical Systems [45.11208589443806]
  グラフのためのKAN(Kolmogorov-Arnold Networks)は、その固有の解釈可能性を活用するように設計されている。 カンは基礎となる記号方程式の同定に成功し、既存の基底線をはるかに上回った。 本研究は,モデル表現性と解釈可能性のトレードオフを明らかにするための実践的ガイドを提供する。
  論文  参考訳（メタデータ） (2025-08-25T16:25:50Z)
• Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
  従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。 データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。 本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:28:25Z)
• V-MAGE: A Game Evaluation Framework for Assessing Vision-Centric Capabilities in Multimodal Large Language Models [84.27290155010533]
  本稿では,視覚中心型多機能ゲーム評価(V-MAGE)について紹介する。 V-MAGEは、30以上の慎重に構築された評価シナリオからなる5つの異なるビデオゲームを特徴としている。 V-MAGEは、動的かつインタラクティブな設定において、MLLMの視覚的および推論能力を改善するために実行可能な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-08T15:43:01Z)
• EmbodiedVSR: Dynamic Scene Graph-Guided Chain-of-Thought Reasoning for Visual Spatial Tasks [24.41705039390567]
  EmbodiedVSR (Embodied Visual Space Reasoning) は動的シーングラフ誘導型Chain-of-Thought (CoT)推論を統合する新しいフレームワークである。 本手法はタスク固有の微調整なしでゼロショット空間推論を可能にする。 実験により,我々のフレームワークは,既存のMLLM法よりも精度と推論コヒーレンスにおいて優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-14T05:06:07Z)
• ViRAC: A Vision-Reasoning Agent Head Movement Control Framework in Arbitrary Virtual Environments [0.13654846342364302]
  本稿では,大規模モデルの常識的知識と推論能力を活用するViRACを提案する。 ViRACは最近の最先端技術よりも自然でコンテキスト対応の頭部回転を生成する。
  論文  参考訳（メタデータ） (2025-02-14T09:46:43Z)
• A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs [3.2228025627337864]
  本稿では,視覚言語モデル(VLM)における知覚推論インタフェースを識別するための構造化評価フレームワークを提案する。 本稿では,人間の問題解決戦略を反映した3つの評価パラダイムを提案する。 このフレームワークを適用したCAは、リッチで独立に生成された記述を推論するために強力な言語モデルを活用し、新しい最先端(SOTA)パフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2025-01-23T12:42:42Z)
• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Towards Evaluating the Robustness of Visual State Space Models [63.14954591606638]
  視覚状態空間モデル(VSSM)は視覚知覚タスクにおいて顕著な性能を示した。 しかし、自然と敵対的な摂動の下での頑丈さは依然として重要な懸念事項である。 様々な摂動シナリオ下でのVSSMの頑健さを総合的に評価する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:44Z)
• Understanding Physical Dynamics with Counterfactual World Modeling [10.453874628135294]
  我々は、動的理解のための視覚構造抽出にCWM(Counterfactual World Modeling)を用いる。 CWMは、アノテーションなしでビデオデータのマスキング予測に時間分解マスキングポリシーを使用する。 これらの構造は物理力学の理解に有用であることを示し、CWMがPhilonベンチマークの最先端性能を達成できることを示した。
  論文  参考訳（メタデータ） (2023-12-11T03:07:25Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。