論文の概要: Exploring Physical Intelligence Emergence via Omni-Modal Architecture and Physical Data Engine

• arxiv url: http://arxiv.org/abs/2602.07064v1
• Date: Thu, 05 Feb 2026 14:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.416211
• Title: Exploring Physical Intelligence Emergence via Omni-Modal Architecture and Physical Data Engine
• Title（参考訳）: Omni-Modal Architectureと物理データエンジンによる物理知能創発の探索
• Abstract要約: 我々はOmniFysicsについて紹介する。OmniFysicsは、画像、音声、ビデオ、テキスト間の理解を統一するコンパクトなオムニモーダルモデルである。 明示的な物理知識を注入するために、2つのコンポーネントからなる物理データエンジンを構築します。 実験は、標準マルチモーダルベンチマークにおける競合性能を示し、物理指向評価の結果を改善した。
• 参考スコア（独自算出の注目度）: 50.62040226184694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physical understanding remains brittle in omni-modal models because key physical attributes are visually ambiguous and sparsely represented in web-scale data. We present OmniFysics, a compact omni-modal model that unifies understanding across images, audio, video, and text, with integrated speech and image generation. To inject explicit physical knowledge, we build a physical data engine with two components. FysicsAny produces physics-grounded instruction--image supervision by mapping salient objects to verified physical attributes through hierarchical retrieval over a curated prototype database, followed by physics-law--constrained verification and caption rewriting. FysicsOmniCap distills web videos via audio--visual consistency filtering to generate high-fidelity video--instruction pairs emphasizing cross-modal physical cues. We train OmniFysics with staged multimodal alignment and instruction tuning, adopt latent-space flow matching for text-to-image generation, and use an intent router to activate generation only when needed. Experiments show competitive performance on standard multimodal benchmarks and improved results on physics-oriented evaluations.
• Abstract（参考訳）: なぜなら、重要な物理的属性は視覚的に曖昧で、Webスケールのデータでわずかに表現されているからである。 我々はOmniFysicsについて述べる。OmniFysicsは、画像、音声、ビデオ、テキスト間の理解を統合化し、音声と画像生成を統合したコンパクトなオムニモーダルモデルである。 明示的な物理知識を注入するために、2つのコンポーネントからなる物理データエンジンを構築します。 FysicsOmniCapは、音声-視覚的整合性フィルタリングによってWeb動画を蒸留し、高忠実なビデオ-インストラクションペアを生成する。 我々はOmniFysicsを段階的なマルチモーダルアライメントとインストラクションチューニングで訓練し、テキスト・ツー・イメージ生成のための潜在空間フローマッチングを採用し、インテントルータを使用して、必要な時にのみ生成を起動する。 実験は、標準マルチモーダルベンチマークにおける競合性能を示し、物理指向評価の結果を改善した。

関連論文リスト

• OmniPhys: Knowledge-Graph-Driven Benchmarking and Collective Optimization for Physical Commonsense in Text-to-Image Generation [63.27323042387232]
  OmniPhysは、物理知識グラフに1,551個のサンプルの厳密なベンチマークである。 PhETシミュレーションを標準的なカリキュラムと整合させることで、OmniPhysは診断ストレステストを実行するナレッジ・トゥ・シナリオパイプラインを運用する。 我々は,物理フィードバックを離散最適化問題として扱う反復的フレームワークであるOmniPromptを提案する。
  論文  参考訳（メタデータ） (2026-07-28T12:27:25Z)
• VIPER: Visual In-Context Physics Reasoning for Physically Plausible Video Generation [24.373968967561993]
  VIPERは、参照誘導画像-ビデオ生成のためのフレームワークである。 マルチモーダル大言語モデルを用いて、参照由来の物理キューを抽出する。 参照/ビデオの物理的類似性が向上し、代表映像生成よりも人間の好みが向上する。
  論文  参考訳（メタデータ） (2026-07-26T05:55:49Z)
• Learning Explicit Physical Parameter Control and Benchmarking for Video Generation [21.331326205371628]
  本稿では,物体レベルの力,質量,摩擦,再生,シーンレベルの重力を条件とした物理誘導映像拡散モデルPhyParamを提案する。 また、PhyParam-Benchは、画像とビデオの生成における物理法則の整合性を示すベンチマークである。
  論文  参考訳（メタデータ） (2026-07-21T10:06:55Z)
• PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
  本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。 i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-04-30T17:53:03Z)
• Beyond Semantics: Uncovering the Physics of Fakes via Universal Physical Descriptors for Cross-Modal Synthetic Detection [34.95491424781195]
  そこで本研究では,すべてのテストデータセットに対して一貫した離散パワーを示す5つの物理特徴を同定する特徴選択アルゴリズムを提案する。 提案手法は,Wukong や SDv1.4 などのデータセットに対して,ほぼ完全な精度 (99.8%) で,複数のGenimageベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-06T11:50:29Z)
• MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
  MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。 MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-03T07:32:24Z)
• QuPAINT: Physics-Aware Instruction Tuning Approach to Quantum Material Discovery [12.888415301529891]
  光学顕微鏡画像から2次元の量子材料を特徴付けることは、微妙な層依存性のコントラスト、限られたラベル付きデータ、実験室と撮像装置間の大きなばらつきにより困難である。 この研究は、データとモデルの両方の観点からこれらの制限に対処する、新しい物理を意識したマルチモーダルフレームワークを提示している。 我々はまず、薄膜干渉下での量子材料フレクスのリアルな光学応答をシミュレートする物理ベースの合成データ生成装置、Synthiaを提示する。 我々はQMat-Instructを紹介した。QMat-Instructは量子材料のための最初の大規模インストラクションデータセットで、マルチモーダルな物理インフォームされた質問応答ペアで、マルチモーダル大言語モデル(ML)を教えるように設計されている。
  論文  参考訳（メタデータ） (2026-02-19T15:44:41Z)
• PAVAS: Physics-Aware Video-to-Audio Synthesis [58.746986798623084]
  本稿では、物理推論を潜伏拡散に基づくV2A生成に組み込む手法であるPAVAS(Physical-Aware Video-to-Audio Synthesis)を提案する。 PAVASは物理的に可塑性かつ知覚的にコヒーレントな音声を生成し、定量評価と定性評価の両方において既存のV2Aモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-12-09T06:28:50Z)
• VibraVerse: A Large-Scale Geometry-Acoustics Alignment Dataset for Physically-Consistent Multimodal Learning [17.790063818997975]
  VibraVerseは3次元形状から物理的属性、モーダルパラメータ、音響信号から因果連鎖をブリッジする大規模なデータセットである。 CLASPは、オブジェクトの物理的構造と音響応答の間の因果関係を保存する、クロスモーダルアライメントのための対照的な学習フレームワークである。 VibraVerseをベースとして、幾何から音への予測、音響誘導形再構成、モーダル表現学習のためのベンチマークタスクスイートを定義する。
  論文  参考訳（メタデータ） (2025-11-25T15:48:49Z)
• PhysCorr: Dual-Reward DPO for Physics-Constrained Text-to-Video Generation with Automated Preference Selection [10.498184571108995]
  本稿では,ビデオ生成における物理一貫性をモデリング,評価,最適化するための統合フレームワークであるPhysCorrを提案する。 具体的には、物体内安定性と物体間相互作用の両方を定量化する最初の2次元報酬モデルである物理RMを紹介する。 我々のアプローチは、モデルに依存しないスケーラブルで、幅広いビデオ拡散とトランスフォーマーベースのバックボーンへのシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-11-06T02:40:57Z)
• Inferring Dynamic Physical Properties from Video Foundation Models [94.35979242947873]
  ビデオから動的物理特性を予測するタスクについて検討する。 時間的情報を必要とする物理的特性として,バウンディング物体の弾性,流動液体の粘度,表面を滑り落ちる物体の動的摩擦について考察する。
  論文  参考訳（メタデータ） (2025-10-02T17:59:50Z)
• PhysID: Physics-based Interactive Dynamics from a Single-view Image [1.7214450148288793]
  単一視点画像から物理に基づくインタラクティブなダイナミクスの作成を効率化するPhysIDを提案する。 物理的に妥当なリアルタイムレンダリングを実現するために,デバイス上の物理ベースのエンジンをユーザインタラクションと統合する。
  論文  参考訳（メタデータ） (2025-06-21T15:57:58Z)
• PhysGaia: A Physics-Aware Dataset of Multi-Body Interactions for Dynamic Novel View Synthesis [62.283499219361595]
  PhysGaiaは動的ノベルビュー合成(DyNVS)のために設計された物理対応のデータセットである。 私たちのデータセットは、複数のオブジェクト間のリッチな相互作用を伴う複雑な動的シナリオを提供します。 PhysGaiaは、動的ビュー合成、物理に基づくシーン理解、および物理シミュレーションと統合されたディープラーニングモデルの研究を著しく前進させる。
  論文  参考訳（メタデータ） (2025-06-03T12:19:18Z)
• Think Before You Diffuse: Infusing Physical Rules into Video Diffusion [55.046699347579455]
  実世界の動き、相互作用、ダイナミクスの複雑さは、データから物理を学ぶ際に大きな困難をもたらす。 DiffPhyは、トレーニング済みの動画拡散モデルを微調整することで、物理的に正確でリアルな映像生成を可能にする汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-27T18:26:43Z)
• ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
  ContPhyは、マシン物理常識を評価するための新しいベンチマークである。 私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。 また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
  論文  参考訳（メタデータ） (2024-02-09T01:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。