論文の概要: VEGAS: Human-Aligned Video Caption Evaluation via Gaze
- arxiv url: http://arxiv.org/abs/2607.08489v1
- Date: Thu, 09 Jul 2026 13:46:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.552166
- Title: VEGAS: Human-Aligned Video Caption Evaluation via Gaze
- Title（参考訳）: VEGAS: Gazeによる人間対応ビデオキャプション評価
- Abstract要約: VEGAS(ビデオキャプション評価: GAze Score)は、テストタイムの視線を利用してパーソナライズされた注目に沿ったテキストをサンプリングするトレーニングフリーメトリックである。
VEGAS に基づいたキャプションを,モデル再トレーニングなしでリジェクションサンプリングにより選択する。
実験の結果、VEGAS選択キャプションは人間の焦点と大幅に一致し、下流のキャプション・ツー・ビデオ検索が改善された。
- 参考スコア（独自算出の注目度）: 33.65100913807707
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models excel at video captioning, yet typically generate descriptions that fail to capture individual viewers' attention. We propose VEGAS (Video caption Evaluation via GAze Score), a training-free metric that leverages test-time gaze to sample personalized, attention-aligned text. It is a cross-modal, information-theoretic metric that quantifies how well a candidate caption matches a viewer's focus. To evaluate VEGAS, we curate a dataset of egocentric activities and instructional slides paired with synchronized gaze and reference annotations. We then select captions based on VEGAS via rejection sampling without model retraining. Experiments show that VEGAS-selected captions align significantly better with human focus and improve downstream caption-to-video retrieval, demonstrating the practical utility of incorporating viewer attention during inference.
- Abstract（参考訳）: ヴィジュアル言語モデルはビデオキャプションで優れているが、通常は個々の視聴者の注意を捉えない記述を生成する。
VEGAS(ビデオキャプション評価: GAze Score)は、テストタイムの視線を利用してパーソナライズされた注目に沿ったテキストをサンプリングするトレーニングフリーメトリックである。
これは、候補キャプションが視聴者の焦点とどの程度うまく一致しているかを定量化する、クロスモーダルで情報理論の計量である。
VEGASを評価するために、同期された視線と参照アノテーションを組み合わせて、エゴセントリックなアクティビティと指導スライドのデータセットをキュレートする。
次に,VEGASに基づくキャプションを,モデル再学習を伴わずに,リジェクションサンプリングにより選択する。
実験の結果,VEGAS選択キャプションは人間の焦点とよく一致し,下流のキャプション・ツー・ビデオ検索が改善された。
関連論文リスト
- OVFact: Measuring and Improving Open-Vocabulary Factuality for Long Caption Models [65.8015696586307]
長字幕の字幕事実性を測定する新しい方法であるOV-Factを紹介する。
提案手法は,人間の判断との一致を改善し,同じ指標におけるキャプタネス(リコール)と事実精度の両方をキャプチャする。
従来のメトリクスとは異なり、参照不要なメソッド設計は、ファクトリティベースのデータフィルタリングに向けた新しいアプリケーションを可能にする。
論文 参考訳（メタデータ） (2025-07-25T13:38:06Z) - Painting with Words: Elevating Detailed Image Captioning with Benchmark and Alignment Learning [56.31096024472269]
我々はDeCapBenchと、詳細なキャプションタスク用に特別に設計された新しいメトリックであるDCScoreを紹介する。
DCScoreは、反応を最小の自己充足単位に分解することで、幻覚ときめ細かい包括性を評価する。
DeCapBenchは、視覚言語モデルの既存のベンチマークを上回り、記述タスクにおけるVLMアリーナの結果と高い相関を示す。
論文 参考訳（メタデータ） (2025-03-10T22:53:56Z) - CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness [30.44039177018447]
CAPabilityは、6つの重要なビューにまたがる12次元にわたる視覚的キャプションを評価するための総合的なベンチマークである。
我々は、生成したキャプションを評価するために、視覚要素アノテーションで1万1千近い人注画像や動画をキュレートした。
論文 参考訳（メタデータ） (2025-02-19T07:55:51Z) - Learning to Rank Pre-trained Vision-Language Models for Downstream Tasks [41.488394198111976]
CLIPのような視覚言語モデル(VLM)は、分類ベンチマークで星のゼロショット能力を示している。
ラベル付けされていない下流タスクで最高のパフォーマンスでVLMを選択するのは簡単ではありません。
本稿では、教師なしの下流データセットのみを利用できる、テクスチャファイン教師付き視覚言語モデル選択の問題を紹介する。
論文 参考訳（メタデータ） (2024-12-30T03:26:53Z) - G-VEval: A Versatile Metric for Evaluating Image and Video Captions Using GPT-4o [15.929657348606018]
G-VEvalはG-Evalにインスパイアされた新しい測度であり、新しい GPT-4o で駆動される。
G-VEvalは、大規模なマルチモーダルモデルでチェーン・オブ・シント推論を使用しており、参照フリー、参照オンリー、組み合わせの3つのモードをサポートしている。
また,ビデオキャプション評価のための新しいデータセットであるMSVD-Evalを提案する。
論文 参考訳（メタデータ） (2024-12-18T09:23:12Z) - Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。
画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。
そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
論文 参考訳（メタデータ） (2024-12-11T18:37:42Z) - Vision Language Model-based Caption Evaluation Method Leveraging Visual
Context Extraction [27.00018283430169]
本稿では視覚言語モデルに基づくキャプション評価手法VisCE$2$を提案する。
本手法は,オブジェクト,属性,関係性を含む画像の詳細な内容を参照する視覚的コンテキストに焦点をあてる。
論文 参考訳（メタデータ） (2024-02-28T01:29:36Z) - Vamos: Versatile Action Models for Video Understanding [23.631145570126268]
「多元的行動モデル(Vamos)は、大言語モデルを利用した学習フレームワークである。」
Ego4D,NeXT-QA,IntentQA,Spacewalk-18,Egoの5つのベンチマークでVamosを評価する。
論文 参考訳（メタデータ） (2023-11-22T17:44:24Z) - Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。
このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
論文 参考訳（メタデータ） (2023-08-15T17:58:11Z) - EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained
Embedding Matching [90.98122161162644]
現在のビデオキャプションの指標は、主に参照キャプションと候補キャプションのテキストレベルの比較に基づいている。
EMScore(Embedding Matching-based score)を提案する。
我々は、よく訓練された視覚言語モデルを用いて、EMScore 計算のための視覚的および言語的埋め込みを抽出する。
論文 参考訳（メタデータ） (2021-11-17T06:02:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。