論文の概要: What Comes Next? Omni-StoryBench for Evaluating Story-Grounded Omnimodal Generation

• arxiv url: http://arxiv.org/abs/2609.37317v1
• Date: Tue, 29 Sep 2026 11:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.453264
• Title: What Comes Next? Omni-StoryBench for Evaluating Story-Grounded Omnimodal Generation
• Title（参考訳）: 次に何が起こるか? ストーリーを囲むOmni-StoryBenchによるOmnimodal生成の評価
• Abstract要約: Omni-StoryBenchは、モデルが画像、ナレーション、スピーチをコヒーレントに継続できるかどうかを評価する、ストーリーグラウンドのOmni-StoryBenchベンチマークである。 我々は, 文脈保存, 条件追従, 参照整合性, クロスモーダルコヒーレンスに対して, モダリティ特異的な指標と整合性中心のLCM-as-a-judgesを用いたシステムの評価を行った。
• 参考スコア（独自算出の注目度）: 8.397767986580403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnimodal evaluation should go beyond independent text, image, and speech production: individually plausible outputs may not express a coherent shared event. We introduce Omni-StoryBench, a story-grounded omnimodal benchmark evaluating whether models can coherently continue stories across image, narration, and speech. Each instance provides a current storybook page and structured next-page conditions, requiring models to generate the next illustration, narration, and spoken character utterance. Omni-StoryBench contains 900 rigorously validated story transitions from openly licensed children's books, with ground-truth next-page references and speech metadata. We evaluate systems with modality-specific metrics and consistency-centered LLM-as-a-judge rubrics for context preservation, condition following, reference consistency, and cross-modal coherence. Across 32 baseline configurations spanning orchestration, semi-orchestration, and native any-to-any paradigms, we find orchestration with strong VLM planning most reliable, while current native omnimodal models often struggle with output completeness and controllability. Our analysis shows text-side performance is associated with image and speech quality, but image generation and visual continuity form the clearest observed bottleneck among the evaluated configurations. These results position Omni-StoryBench as a system-level benchmark measuring coherent omnimodal generation beyond isolated modality quality.
• Abstract（参考訳）: 単調な評価は、独立したテキスト、画像、および音声生成を超えて行うべきである。 Omni-StoryBenchは、モデルが画像、ナレーション、スピーチをコヒーレントに継続できるかどうかを評価する、ストーリーグラウンドのOmni-StoryBenchベンチマークである。 各インスタンスは、現在のストーリーブックページと構造化された次のページ条件を提供し、次のイラスト、ナレーション、音声文字の発話を生成するモデルを必要とする。 Omni-StoryBenchには、オープンライセンスの児童書から900の厳格に検証されたストーリートランジションがあり、次のページへの参照と音声メタデータがある。 コンテクスト保存, 条件追従, 参照整合性, クロスモーダルコヒーレンスに対して, モダリティ特異的な指標と整合性中心のLCM-as-a-judgeルーブを用いたシステムの評価を行った。 オーケストレーション、セミオーケストレーション、ネイティブな任意のパラダイムにまたがる32のベースライン構成では、強力なVLM計画によるオーケストレーションが最も信頼性が高いのに対して、現在のネイティブなオムニモーダルモデルは出力の完全性と制御性に悩まされることが多い。 分析の結果、テキスト側のパフォーマンスは画像品質と音声品質に関連していることがわかったが、画像生成と視覚的連続性は、評価された構成の中で最も明らかなボトルネックとなっている。 これらの結果から,Omni-StoryBench は孤立モード品質を超えるコヒーレントな一様生成を測定するシステムレベルのベンチマークとして位置づけられた。

関連論文リスト

• OmniACBench: A Benchmark for Evaluating Context-Grounded Acoustic Control in Omni-Modal Models [17.817469065260124]
  オムニACBench(OmniACBench)は、Omni-Modalモデルにおいて、コンテキストグラウンド音響制御を評価するためのベンチマークである。 音声命令、テキストスクリプト、画像が与えられた場合、モデルは適切なトーンとやり方で読み取らなければならない。 8つのモデルでの実験では、テキスト出力評価に強い性能があるにもかかわらず、提案された設定において制限が示される。
  論文  参考訳（メタデータ） (2026-03-25T05:00:51Z)
• Omni-Judge: Can Omni-LLMs Serve as Human-Aligned Judges for Text-Conditioned Audio-Video Generation? [41.8825737520503]
  我々は,Omni-LLMsがテキスト・コンディショニング・オーディオ・ビデオ生成のためのヒューマンアライメント・ジャッジとして機能するかどうかを検討した。 omni-LLMは音声、ビデオ、テキストを自然に処理し、リッチな推論をサポートし、解釈可能な連鎖フィードバックを提供する。 本研究は,マルチモーダル生成のための統一評価器として,オムニ-LLMの潜在的な限界と現在の限界を強調した。
  論文  参考訳（メタデータ） (2026-02-02T04:36:23Z)
• Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception [97.32606786622728]
  我々は、データパイプライン、モデル、ベンチマークの観点から、Omniの詳細な認識を体系的で包括的に調査する。 ツールコールを統合したエージェントデータ生成パイプラインであるOmni-Detectiveを提案する。 Omni-Detectiveで生成されたデータに基づいて、2つのキャプションモデル:音声のみの詳細な知覚のためのオーディオ・キャプション・キャプション・モデルと、音声視覚による詳細な知覚のためのOmni-Captionerを訓練する。
  論文  参考訳（メタデータ） (2025-10-14T17:00:09Z)
• Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision [83.0622534215881]
  本研究は, 聴覚, 視覚, 言語的モダリティを統合した, 産業レベルのOmni-Modal Large Language Model (LLM) パイプラインを提案する。 まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。 第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。 第三に、様々な現実世界のシナリオから高品質な音声テキストデータを生成するオーディオ合成パイプライン。
  論文  参考訳（メタデータ） (2025-02-26T17:26:36Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。