論文の概要: HeroFrame-Bench: Reference-Anchored Evaluation via Rubric--Ranking Co-Evolution for Movie Hero Frame Selection
- arxiv url: http://arxiv.org/abs/2609.32280v1
- Date: Sat, 26 Sep 2026 06:12:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 18:05:52.81955
- Title: HeroFrame-Bench: Reference-Anchored Evaluation via Rubric--Ranking Co-Evolution for Movie Hero Frame Selection
- Title（参考訳）: HeroFrame-Bench:Ranking Co-Evolution for Movie Hero Frame Selection
- Abstract要約: 本稿では,ヒーローフレーム選択のためのスケーラブルなVLM-as-a-JudgeフレームワークであるHero-Frame-Benchを紹介する。
多様なメタデータから、選択したフレームをスコアするVLM判定を行うためのマルチモーダルコンテキストを構築する。
Hero-Frame-Benchは2,031本のレファレンスチェーンと1,970本の学習ルーリックを持つ204本の映画をインスタンス化している。
- 参考スコア（独自算出の注目度）: 16.03398609101004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hero frames are in-film stills used as source imagery for theatrical posters, streaming cover art, film database listings, and other promotional placements. As the first visual entry point, they shape audiences' initial impressions of the movie and their subsequent willingness to watch it. Selecting these frames, a task we term hero frame selection, requires balancing content relevance with aesthetic appeal. A related task is keyframe selection, yet its benchmarks prioritize relevance over aesthetics, using either finite annotations that exclude valid alternatives or VideoQA that entangles selection quality with downstream model capability. We therefore introduce HeroFrame-Bench, built through a scalable VLM-as-a-Judge framework. We construct multimodal contexts from diverse metadata to ground a VLM judge that scores selected frames using our Reference-anchored Percentile. The percentile is obtained by inserting each frame into reusable, pre-ranked reference chains, enabling direct, extensible, and reliable evaluation. To reduce ambiguity and improve consistency in these subjective judgements, we further propose Rubric-Ranking Co-Evolution, which generates movie-specific rubrics to condition the VLM judge and refines rubrics jointly with the resulting rankings. Within this process, we introduce several verifiable signals, most notably the Inverted Rubric Attack, to select robust rubrics. Finally, HeroFrame-Bench is instantiated over 204 movies with 2,031 reference chains and 1,970 learned rubrics. We build an annotation interface for human-alignment studies which show that our construction design improves VLM agreement with human from 77.56% to 83.78%. Evaluation on multiple methods show that hero frame selection remains challenging.
- Abstract（参考訳）: ヒーローフレーム(英: Hero frame)は、劇場ポスター、ストリーミングカバーアート、映画データベースの一覧、その他のプロモーション・プレースメントのソースイメージとして使用される映画内の静止画である。
最初の視覚的エントリーポイントとして、彼らは観客の映画に対する最初の印象と、それを見る意志を形作る。
ヒーローフレーム選択というタスクであるこれらのフレームを選択するには、コンテンツと美的魅力のバランスをとる必要がある。
関連するタスクは、キーフレームの選択であるが、そのベンチマークは、有効な代替品を除外する有限アノテーションか、下流モデル機能と選択品質を関連付けるビデオQAのいずれかを使用して、美学よりも関連性を重視する。
そこで我々は,スケーラブルなVLM-as-a-Judgeフレームワークによって構築されたHeroFrame-Benchを紹介した。
多様なメタデータからマルチモーダルコンテキストを構築し、参照アンコールパーセンタイルを用いて選択したフレームをスコアするVLM判定器を構築する。
パーセンタイルは、各フレームを再利用可能な参照チェーンに挿入し、直接的、拡張可能、信頼性の高い評価を可能にする。
さらに、これらの主観的判断の曖昧さを低減し、一貫性を向上させるために、VLM判定を条件に映画固有のルーリックを生成し、その結果のランクと併用してルーリックを洗練するRubric-Ranking Co-Evolutionを提案する。
このプロセス内では、いくつかの検証可能な信号、特にInverted Rubric Attackを導入し、堅牢なルーブリックを選択します。
最後に、HeroFrame-Benchは2,031本のレファレンスチェーンと1,970本の学習ルーリックを持つ204本の映画をインスタンス化している。
提案手法は,人間のVLM合意を77.56%から83.78%に改善することを示す。
複数の手法による評価は、ヒーローフレームの選択が依然として困難であることを示している。
関連論文リスト
- CueKFS: Agentic Cue-Driven Keyframe Selection for Long Video Understanding [16.03398609101004]
キーフレームセレクション(KFS)は長い間、ブラウジングと検索のためのコンパクトなビデオ要約を制作してきた。
CueKFSは,動的に生成する視覚的手がかりの集合とフレームの比較として,質問フレームマッチングを再構成する訓練不要な手法である。
論文 参考訳（メタデータ） (2026-09-25T18:12:29Z) - RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。
タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。
ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
論文 参考訳（メタデータ） (2026-08-30T18:40:51Z) - Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - Good Token Hunting: A Hitchhiker's Guide to Token Selection for Visual Geometry Transformers [58.582630781164305]
視覚幾何学変換器は多視点3D再構成のための強力なアーキテクチャである。
それらの計算コストは、これらのモデル内のグローバルアテンション層によって入力シーケンスの長さが2倍に増加する。
各クエリがグローバルな注意を払って対話するキー/バリュートークンの数を制限するという、シンプルながら一般的な戦略でこの問題に対処する。
当社のアプローチは,既存のソリューションと比較して,速度精度のトレードオフが優れている。
論文 参考訳（メタデータ） (2026-05-22T17:55:13Z) - VC-Bench: Pioneering the Video Connecting Benchmark with a Dataset and Evaluation Metrics [83.61875204972465]
ビデオ接続(Video Connecting)は,ビデオクリップの開始と終了の間にスムーズな中間映像コンテンツを生成するタスクである。
このギャップを埋めるため、私たちはビデオ接続に特化した新しいベンチマークであるVC-Benchを提案しました。
VC-Benchは、ビデオ品質スコアVQS、スタート-エンド一貫性スコアSECS、トランジッションスムースネススコアSSの3つの中核的な側面に焦点を当てている。
論文 参考訳（メタデータ） (2026-01-27T06:15:12Z) - The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。
エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。
提案手法の強い時間的推論とセグメンテーション能力について検討した。
論文 参考訳（メタデータ） (2025-01-15T03:17:24Z) - Frame-Voyager: Learning to Query Frames for Video Large Language Models [33.84793162102087]
ビデオ大言語モデル (Video-LLMs) はビデオ理解タスクにおいて顕著な進歩を遂げている。
フレームの一様サンプリングやテキストフレーム検索のような既存のフレーム選択アプローチでは、ビデオ内の情報密度の変動を考慮できない。
タスクの与えられたテキストクエリに基づいて,情報フレームの組み合わせを問合せする Frame-Voyager を提案する。
論文 参考訳（メタデータ） (2024-10-04T08:26:06Z) - Learning to Recommend Frame for Interactive Video Object Segmentation in
the Wild [38.39582722095913]
本稿では,野生のインタラクティブビデオオブジェクトセグメンテーション(VOS)のためのフレームワークを提案する。
ユーザーアノテーションに基づいて、セグメンテーションアルゴリズムはマスクを洗練します。
本稿では,最悪の評価基準を持つフレームが,必ずしも最も価値の高いフレームではない可能性を示唆する。
論文 参考訳（メタデータ） (2021-03-18T17:19:47Z) - SMART Frame Selection for Action Recognition [43.796505626453836]
良いフレームを選択することは、トリミングされたビデオ領域でもアクション認識のパフォーマンスに役立ちます。
本稿では,フレームの選択を一度に行うのではなく,共同で検討する手法を提案する。
論文 参考訳（メタデータ） (2020-12-19T12:24:00Z) - Dense-Caption Matching and Frame-Selection Gating for Temporal
Localization in VideoQA [96.10612095576333]
本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。
また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。
当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2020-05-13T16:35:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。