論文の概要: OmniFysics-Captioner Technical Report: Grounding Omni-Modal Understanding in the Physical World for Better Captioning

• arxiv url: http://arxiv.org/abs/2609.31714v1
• Date: Mon, 21 Sep 2026 09:41:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 13:33:35.272225
• Title: OmniFysics-Captioner Technical Report: Grounding Omni-Modal Understanding in the Physical World for Better Captioning
• Title（参考訳）: OmniFysics-Captioner Technical Report: Grounding Omni-Modal Understanding in the Physical World for Better Captioning
• Abstract要約: データ構築、トレーニング、評価を対象とする物理認識型音声視覚キャプションのための統合フレームワークを提案する。 私たちのCaptionerは、オーディオヴィジュアルキャプションでGemini 3.1 Proとマッチし、複数のビデオキャプションベンチマークで最先端の結果が得られ、他のオープンソースモデルよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 43.11585152096694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building omni-modal models with physical intelligence requires fine-grained supervision that captures physical evidence such as contact, support, deformation, and state transitions. However, existing omni-modal captioners primarily model general audiovisual semantics and often overlook transient or spatially localized physical evidence. We present a unified framework for physics-aware audiovisual captioning spanning data construction, training, and evaluation. Firstly, we build a data construction pipeline that identifies physics-rich clips and leverages OmniFysics-Agent to coordinate audio, visual, and physical-perception tools for collecting spatiotemporally aligned and traceable cross-modal evidence; within the Agent, a physical perception model (PPM) fine-tuned on approximately 2M image-level samples serves as a dedicated tool for extracting object-interaction and state-change cues. Secondly, we build the Daily-Physics 50K dataset and introduce the evidence-driven OmniPhysCap (OPC) benchmark to evaluate the recovery of physical and cross-modal evidence from generated captions. Finally, we train OmniFysics-Captioner from the resulting data. Our Captioner matches Gemini 3.1 Pro on audiovisual captioning, achieves state-of-the-art results on multiple video-captioning benchmarks, and substantially outperforms other open-source models. Ablations show that PPM evidence improves physical coverage and produces finer-grained, more reliable cross-modal descriptions.
• Abstract（参考訳）: 物理的知性を備えたオムニモーダルモデルを構築するには、接触、支持、変形、状態遷移などの物理的証拠を捉えるためのきめ細かい監督が必要である。 しかし、既存のOmni-modalキャプタは主に一般的な聴覚的意味論をモデル化し、過渡的または空間的局所的な物理的証拠を見落としていることが多い。 データ構築、トレーニング、評価を対象とする物理認識型音声視覚キャプションのための統合フレームワークを提案する。 まず、物理量の多いクリップを識別するデータ構築パイプラインを構築し、OmniFysics-Agentを利用して、時空間的に整列してトレース可能なクロスモーダルエビデンスを収集する、オーディオ、視覚、物理的知覚ツールをコーディネートする。 次に、Daily-Physics 50Kデータセットを構築し、エビデンス駆動型OmniPhysCap(OPC)ベンチマークを導入し、生成されたキャプションから物理的および横断的な証拠の回復を評価する。 最後に、結果のデータからOmniFysics-Captionerをトレーニングします。 私たちのCaptionerは、オーディオヴィジュアルキャプションでGemini 3.1 Proにマッチし、複数のビデオキャプションベンチマークで最先端の結果を達成し、他のオープンソースモデルよりも大幅に優れています。 アブレーションは、PPMエビデンスによって物理的カバレッジが向上し、より微細で信頼性の高いクロスモーダル記述が生成されることを示している。

関連論文リスト

• OmniFysics-Nano-V2 Technical Report: Understanding the Physical World Across Modalities [49.855412713247524]
  OmniFysics-Nano-V2は、物理世界の知覚と理解のためのコンパクトなオムニモーダルモデルである。 このモデルは、共有推論フレームワーク内で、画像、ビデオ、オーディオ、音声、テキスト入力をサポートする。 実験により、提案したデータとトレーニング戦略は、広義のオムニ・モーダル能力を維持しながら、物理世界の理解を改善することが示された。
  論文  参考訳（メタデータ） (2026-09-22T06:18:20Z)
• Do Joint Audio-Video Generation Models Understand Physics? [49.44016960193229]
  共同オーディオビデオ生成モデルは、プロのプロダクション品質に急速に近づいている。 音と視覚の物理を理解しているのか、それとも、現実の一貫性に反するプラウチブルな音やフレームを生成するだけなのか? AV-Phys Benchは、共同オーディオビデオ生成における物理コモンセンスを評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-05-08T00:14:07Z)
• Exploring Physical Intelligence Emergence via Omni-Modal Architecture and Physical Data Engine [50.62040226184694]
  我々はOmniFysicsについて紹介する。OmniFysicsは、画像、音声、ビデオ、テキスト間の理解を統一するコンパクトなオムニモーダルモデルである。 明示的な物理知識を注入するために、2つのコンポーネントからなる物理データエンジンを構築します。 実験は、標準マルチモーダルベンチマークにおける競合性能を示し、物理指向評価の結果を改善した。
  論文  参考訳（メタデータ） (2026-02-05T14:04:51Z)
• PAVAS: Physics-Aware Video-to-Audio Synthesis [58.746986798623084]
  本稿では、物理推論を潜伏拡散に基づくV2A生成に組み込む手法であるPAVAS(Physical-Aware Video-to-Audio Synthesis)を提案する。 PAVASは物理的に可塑性かつ知覚的にコヒーレントな音声を生成し、定量評価と定性評価の両方において既存のV2Aモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-12-09T06:28:50Z)
• Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception [97.32606786622728]
  我々は、データパイプライン、モデル、ベンチマークの観点から、Omniの詳細な認識を体系的で包括的に調査する。 ツールコールを統合したエージェントデータ生成パイプラインであるOmni-Detectiveを提案する。 Omni-Detectiveで生成されたデータに基づいて、2つのキャプションモデル:音声のみの詳細な知覚のためのオーディオ・キャプション・キャプション・モデルと、音声視覚による詳細な知覚のためのOmni-Captionerを訓練する。
  論文  参考訳（メタデータ） (2025-10-14T17:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。