論文の概要: OmniPhys: Knowledge-Graph-Driven Benchmarking and Collective Optimization for Physical Commonsense in Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2607.25641v1
• Date: Tue, 28 Jul 2026 12:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.833859
• Title: OmniPhys: Knowledge-Graph-Driven Benchmarking and Collective Optimization for Physical Commonsense in Text-to-Image Generation
• Title（参考訳）: OmniPhys: テキスト・画像生成における知識グラフ駆動ベンチマークと物理コモンセンスの集合最適化
• Abstract要約: OmniPhysは、物理知識グラフに1,551個のサンプルの厳密なベンチマークである。 PhETシミュレーションを標準的なカリキュラムと整合させることで、OmniPhysは診断ストレステストを実行するナレッジ・トゥ・シナリオパイプラインを運用する。 我々は,物理フィードバックを離散最適化問題として扱う反復的フレームワークであるOmniPromptを提案する。
• 参考スコア（独自算出の注目度）: 63.27323042387232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While text-to-image models exhibit remarkable visual fidelity, they frequently violate fundamental physical commonsense. Existing benchmarks often rely on coarse-grained descriptions, failing to diagnose the mastery of specific physical principles. Moreover, the high stochasticity of generative processes causes current prompt optimization methods to suffer from gradient hallucinations, where optimizers are misled by transient visual artifacts rather than systemic flaws. To address these challenges, we introduce OmniPhys, a rigorous benchmark of 1,551 samples grounded in a Physical Knowledge Graph. By aligning PhET simulations with standard curricula, OmniPhys operationalizes a knowledge-to-scenario pipeline that performs diagnostic stress tests via a dual-path verification protocol. We further propose OmniPrompt, an iterative framework that treats physical alignment as a discrete optimization problem. For each query, OmniPrompt aggregates K stochastic images into a per-query feedback buffer. Across training, it further merges feedback from batches of B queries before each meta-policy update, filtering seed and query-local noise. Evaluations across 12 representative text-to-image models reveal universal physical bottlenecks. Results demonstrate that OmniPrompt significantly enhances physical consistency across diverse backbones, proving the transferability and efficacy of our evolved meta-policies. The code and data are available at https://github.com/zjukg/OmniPhys
• Abstract（参考訳）: テキスト・ツー・イメージモデルは目覚ましい視覚的忠実さを示すが、基本的な物理的常識に反することが多い。 既存のベンチマークはしばしば粗い粒度の記述に依存しており、特定の物理原理の熟達を診断することができない。 さらに、生成過程の確率性が高いため、現在の迅速な最適化手法は勾配の幻覚に悩まされ、最適化者は体系的な欠陥ではなく過渡的な視覚的アーティファクトによって誤解される。 これらの課題に対処するため、我々は物理知識グラフに1,551個のサンプルの厳密なベンチマークであるOmniPhysを紹介した。 PhETシミュレーションを標準的なカリキュラムと整合させることで、OmniPhysは、デュアルパス検証プロトコルを介して診断ストレステストを実行するナレッジ・トゥ・シナリオパイプラインを運用する。 さらに,物理アライメントを離散最適化問題として扱う反復的フレームワークであるOmniPromptを提案する。 クエリ毎に、OmniPromptはKの確率的な画像をクエリごとのフィードバックバッファに集約する。 トレーニング全体を通じて、各メタポリシ更新の前にBクエリのバッチからのフィードバックをマージし、シードとクエリローカルノイズをフィルタリングする。 12の代表的なテキスト・ツー・イメージモデルに対する評価は、普遍的な物理的ボトルネックを示す。 以上の結果から,OmniPromptは様々なバックボーン間の物理的整合性を著しく向上させ,進化したメタポリアの移動性と有効性を証明した。 コードとデータはhttps://github.com/zjukg/OmniPhysで公開されている。

関連論文リスト

• Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence [45.78409219344429]
  マルチモーダル大言語モデル (MLLM) は, 臨床VQAと放射線学報告の生成に強い期待を示すが, 推測時幻覚は信頼性を損なう。 本稿では,両面のエビデンス注入による幻覚を系統的に緩和する,総合的かつトレーニング不要なエビデンス注入フレームワークを提案する。 textttLLaVA-1.5-7B, texttLLaVA-Med-1.5-7B, texttQwen3-VL-8B/32B, textttInternVL を用いた2つのタスクと5つのデータセットの系統的評価を行った。
  論文  参考訳（メタデータ） (2026-06-30T08:07:25Z)
• SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning [37.01284827211354]
  SeePhys Proは、重要な情報がテキストから画像へ徐々に転送されるときに、モデルが同じ推論能力を維持するかどうかを研究するベンチマークである。 評価の結果,情報量が言語からダイアグラムへと変化するにつれて,性能が平均的に低下し,視覚的変動グラウンドが最も重要なボトルネックとなることがわかった。 この効果を解析するために、テキスト削除、画像マスクレート、フォーマット飽和制御は、有効な視覚的証拠ではなく、残存するテキストと分布の手がかりから生じる可能性があることを示唆している。
  論文  参考訳（メタデータ） (2026-05-10T02:23:58Z)
• MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
  MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。 MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-03T07:32:24Z)
• Exploring Physical Intelligence Emergence via Omni-Modal Architecture and Physical Data Engine [50.62040226184694]
  我々はOmniFysicsについて紹介する。OmniFysicsは、画像、音声、ビデオ、テキスト間の理解を統一するコンパクトなオムニモーダルモデルである。 明示的な物理知識を注入するために、2つのコンポーネントからなる物理データエンジンを構築します。 実験は、標準マルチモーダルベンチマークにおける競合性能を示し、物理指向評価の結果を改善した。
  論文  参考訳（メタデータ） (2026-02-05T14:04:51Z)
• Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding [41.828387997311474]
  LVLM(Large Vision-Language Models)は画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて,近年顕著な成果を上げている。 それらは、まだ存在しない、または誤認されたオブジェクトの記述を生成する、オブジェクト幻覚の傾向にある。 本稿では,複数のLVLMからの予測を集約することで幻覚を緩和する,学習不要でトークンレベルのアンサンブルフレームワークであるAdaptive Token Ensemble Decoding (ated)を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:11:24Z)
• GraPhSyM: Graph Physical Synthesis Model [21.568740364211983]
  本稿では,グラフ注意ネットワーク(GATv2)モデルであるGraPhSyMを紹介する。 GraPhSyMは、最終設計メトリクスを初期のEDAステージまで正確に可視化し、ステージ間のグローバルなコ最適化を可能にする。
  論文  参考訳（メタデータ） (2023-08-07T23:19:34Z)
• PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer [76.40106756572644]
  最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。 本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。 4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T15:56:03Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。