論文の概要: VISTA: Dense Multi-Label Classroom Coding with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.04550v1
• Date: Thu, 03 Sep 2026 23:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.85906
• Title: VISTA: Dense Multi-Label Classroom Coding with Vision-Language Models
• Title（参考訳）: VISTA:視覚言語モデルを用いた高密度マルチラベルクラスルーム符号化
• Abstract要約: 信頼性を確保するための戦略にすでに投資している研究コミュニティの手法によるマルチモーダルベンチマークの利点を論じる。 我々はCOPUSをマルチモーダル・ファンデーション・モデルのためのビデオ・ベンチマークとして再放送する。 そこで本研究では,MiniCPM-V-4.5を高密度なスライディングウインドウ上で動作させるベースラインであるVISTAを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-language benchmarks are usually constructed by the dataset authors without published reliability statistics, leaving the noise floor of the construct unknown. We argue that multimodal benchmarking benefits from methods taken from research communities that have already invested in strategies to ensure reliability. We illustrate the case with the Classroom Observation Protocol for Undergraduate STEM (COPUS): a 24-code multi-label observation instrument with a decade of peer-reviewed reliability literature. We recast COPUS as a video benchmark for multimodal foundation models, where it provides a dense set of structured labels (a 24-dimensional binary vector every 2 minutes across a 50-90 minute lecture), an externally validated vocabulary, and established literature that provides a per-code reliability target based on human evaluators. Annotations in our evaluation corpus are produced by a 5-person human-evaluator panel whose consensus matrix is our reference. We propose VISTA, a baseline that runs MiniCPM-V-4.5 over a dense sliding window, refines its per-window outputs with a lightweight multi-layer perceptron (MLP) head trained on top of the frozen backbone, and max-pools the resulting predictions onto the 2-minute COPUS grid. On three held-out chemistry lectures, VISTA reaches 80.1% restricted macro accuracy versus 74.9% for the zero-shot variant, with the largest residual errors on visually similar instructor codes and on rare audio-dependent codes. We characterize three systematic failure modes (audio-partial observability, fine-grained group-work discrimination, long-tail recall) and release the benchmark tooling, prompts and baseline code at https://github.com/ajfranck/VISTA.
• Abstract（参考訳）: ビデオ言語ベンチマークは通常、信頼性統計を公表せずにデータセット作成者によって構築され、構成のノイズフロアは未知のままである。 信頼性を確保するための戦略にすでに投資している研究コミュニティの手法によるマルチモーダルベンチマークの利点を論じる。 本報告では,STEM (Classroom Observation Protocol for Undergraduate STEM: COPUS) の事例について述べる。 我々はCOPUSをマルチモーダル・ファンデーション・モデルのためのビデオ・ベンチマークとして再放送し、構造化されたラベル(50～90分間の講義で2分毎に24次元のバイナリ・ベクター)、外部で検証された語彙、そして人間の評価に基づくコード毎の信頼性目標を提供する確立された文献を提供する。 評価コーパスの注釈は, コンセンサス行列を基準とした5人評価パネルによって作成される。 VISTAは,高密度なスライディングウインドウ上でミニCPM-V-4.5を動作させるベースラインであり,凍結したバックボーン上にトレーニングされた軽量多層パーセプトロン(MLP)ヘッドを用いてウィンドウごとの出力を洗練し,その結果の予測を2分間のCOPUSグリッドに最大プールする。 3回の常設化学講義では、VISTAは80.1%のマクロ精度に制限され、ゼロショット版では74.9%に達し、視覚的に類似したインストラクターコードや希少なオーディオ依存コードでは最大の残差が残っている。 我々は3つの系統的な障害モード(オーディオ・パーティショナリ・オブザーバビリティ、きめ細かいグループワークの識別、ロングテールリコール)を特徴付け、ベンチマークツールをリリースし、https://github.com/ajfranck/VISTAでプロンプトとベースラインコードを公開します。

関連論文リスト

• CLIP-CC-Bench: Evaluating Paragraph-Level Video Descriptions in Video-Language Models [3.1498833540989413]
  CLIP-CC-Benchは5時間の映画コンテンツから構築した長文ビデオ記述のための評価スイートである。 評価スイートは、信頼性と単一モデルのバイアスを高めるために、5つの最先端の埋め込みモデルのアンサンブルを使用する。 このフレームワークを用いて、17の最先端ビデオ言語モデルを評価し、Borda集約ランキングとCLIP-CC-Benchの平均スコアの両方を報告する。
  論文  参考訳（メタデータ） (2026-08-05T00:20:23Z)
• VendorBench-100: A Unified Cross-Paradigm Benchmark for Deepfake Image Detection [0.04736448323490553]
  VendorBench-100は、ディープフェイク画像検出のためのクロスパラダイムなベンチマークである。 単一対角100画像コーパス,統一出力スキーマ,共通評価フレームワークを用いて36種類の代表モデルを評価する。 評価の結果,商用APIが最も高い性能を達成し,次いでビジョンLLMとオープンソース検出器が続いた。
  論文  参考訳（メタデータ） (2026-07-07T13:22:00Z)
• MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
  マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。 私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。 MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
  論文  参考訳（メタデータ） (2026-05-19T17:59:33Z)
• Membership Inference Attacks against Large Audio Language Models [50.84901010528239]
  大規模音声言語モデル(LALM)のMIA評価について述べる。 テキスト,スペクトル,韻律的特徴に基づくマルチモーダルブラインドベースラインを用いて,一般的な音声データセットがほぼ完璧な列車/テスト分離性を示すことを示す。 以上の結果から, LALM検査の基準基準が確立された。
  論文  参考訳（メタデータ） (2026-03-30T12:45:28Z)
• BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs [0.0]
  ゼロショットテキスト分類(ZSC)は、コストのかかるタスク固有のアノテーションを排除することを約束する。 テキスト埋め込みモデル、リランカ、命令調整型大規模言語モデル(LLM)の最近の進歩は、NLIベースのアーキテクチャの優位性に挑戦している。 我々は、感情、トピック、意図、感情の分類にまたがる22の公開データセットの総合ベンチマークであるBTZSCを紹介する。
  論文  参考訳（メタデータ） (2026-03-12T14:43:20Z)
• Learning to Trust the Crowd: A Multi-Model Consensus Reasoning Engine for Large Language Models [0.0]
  大規模言語モデル(LLM)は平均年齢のパフォーマンスは高いが、インスタンスレベルでは信頼性が低い。 本稿では,LLM出力の集合を教師付きメタラーナへの入力として扱うマルチモデル・コンセンサス・推論エンジンを提案する。 このシステムは、自然言語の応答をセマンティックな埋め込み、ペアの類似性とクラスタリング統計、語彙的および構造的手がかり、推論品質スコア、信頼度推定、モデル固有の事前情報を用いて構造化された特徴にマッピングする。
  論文  参考訳（メタデータ） (2026-01-12T06:27:06Z)
• Automatic Essay Scoring and Feedback Generation in Basque Language Learning [4.218073067465283]
  本稿では,CEFR C1の習熟度を目標とした,AES(Automatic Essay Scoring)とフィードバック生成のための最初の公開データセットを紹介する。 データセットは、HABEから3,200のエッセイで構成され、それぞれ専門家評価者によって注釈付けされ、正確さ、豊かさ、一貫性、凝集度、タスクアライメントを詳細にフィードバックとエラーの例で表現する。 RoBERTa-EusCrawlやLatxa 8B/70Bといったオープンソースモデルを、スコアリングと説明生成の両方のために微調整します。
  論文  参考訳（メタデータ） (2025-12-09T15:28:35Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• AVTrustBench: Assessing and Enhancing Reliability and Robustness in Audio-Visual LLMs [70.4578433679737]
  我々は9つの細工されたタスクにまたがる600万のサンプルからなるAudio-Visual Trustworthiness Assessment Benchmark (AVTrustBench)を紹介する。 ベンチマークを用いて、13の最先端AVLLMを広範囲に評価した。 その結果、既存のモデルのほとんどは、人間のような理解を達成できないことが判明した。
  論文  参考訳（メタデータ） (2025-01-03T23:03:24Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。