論文の概要: Video Annotator: A framework for efficiently building video classifiers using vision-language models and active learning

• arxiv url: http://arxiv.org/abs/2402.06560v1
• Date: Fri, 9 Feb 2024 17:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 16:03:31.263664
• Title: Video Annotator: A framework for efficiently building video classifiers using vision-language models and active learning
• Title（参考訳）: Video Annotator:視覚言語モデルとアクティブラーニングを用いたビデオ分類器の効率的な構築のためのフレームワーク
• Authors: Amir Ziai, Aneesh Vartakavi
• Abstract要約: Video Annotator(VA)は、ビデオ分類データセットに注釈を付け、管理し、反復するフレームワークである。 VAは、データ収集とモデルのトレーニングをシームレスに統合する、継続的アノテーションプロセスを可能にする。 VAは、最も競争力のあるベースラインと比較して平均精度が6.8ポイント改善されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality and consistent annotations are fundamental to the successful development of robust machine learning models. Traditional data annotation methods are resource-intensive and inefficient, often leading to a reliance on third-party annotators who are not the domain experts. Hard samples, which are usually the most informative for model training, tend to be difficult to label accurately and consistently without business context. These can arise unpredictably during the annotation process, requiring a variable number of iterations and rounds of feedback, leading to unforeseen expenses and time commitments to guarantee quality. We posit that more direct involvement of domain experts, using a human-in-the-loop system, can resolve many of these practical challenges. We propose a novel framework we call Video Annotator (VA) for annotating, managing, and iterating on video classification datasets. Our approach offers a new paradigm for an end-user-centered model development process, enhancing the efficiency, usability, and effectiveness of video classifiers. Uniquely, VA allows for a continuous annotation process, seamlessly integrating data collection and model training. We leverage the zero-shot capabilities of vision-language foundation models combined with active learning techniques, and demonstrate that VA enables the efficient creation of high-quality models. VA achieves a median 6.8 point improvement in Average Precision relative to the most competitive baseline across a wide-ranging assortment of tasks. We release a dataset with 153k labels across 56 video understanding tasks annotated by three professional video editors using VA, and also release code to replicate our experiments at: http://github.com/netflix/videoannotator.
• Abstract（参考訳）: 高品質で一貫性のあるアノテーションは、堅牢な機械学習モデルの開発の成功に不可欠である。 従来のデータアノテーションメソッドはリソース集約的で非効率であり、ドメインの専門家ではないサードパーティアノテータに依存していることが多い。 ハードサンプルは、通常、モデルトレーニングに最も有益であるが、ビジネスコンテキストなしで正確かつ一貫したラベル付けが難しい傾向がある。 これらはアノテーションプロセス中に予測不能に発生し、さまざまなイテレーションとフィードバックのラウンドを必要とするため、品質を保証するために予期せぬ費用と時間のコミットメントが発生する。 我々は、より直接的なドメインエキスパートの関与が、これらの現実的な課題の多くを解決できると仮定する。 本稿では,ビデオ分類データセットの注釈,管理,反復を行うための新しいフレームワークであるvideo annotator (va)を提案する。 本手法は,ビデオ分類器の効率,ユーザビリティ,有効性を向上し,エンドユーザー中心のモデル開発プロセスに新たなパラダイムを提供する。 VAは、データ収集とモデルトレーニングをシームレスに統合する、継続的なアノテーションプロセスを可能にする。 視覚言語基礎モデルのゼロショット機能とアクティブラーニング技術を組み合わせて,VAが高品質モデルの効率的な作成を可能にすることを示す。 VAは、幅広いタスクにまたがる最も競争の激しいベースラインと比較して平均精度が6.8ポイント改善されている。 我々は、VAを使用して3人のプロのビデオエディターが注釈付けした56のビデオ理解タスクに153kラベルのデータセットをリリースし、実験を再現するコードをリリースした。

関連論文リスト

• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
  オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。 このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
  論文  参考訳（メタデータ） (2023-08-15T17:58:11Z)
• Dense Video Object Captioning from Disjoint Supervision [77.47084982558101]
  本稿では,高密度ビデオオブジェクトキャプションのための新しいタスクとモデルを提案する。 このタスクは、ビデオにおける空間的および時間的局所化を統一する。 我々は、この新しいタスクの強力なベースラインにおいて、我々のモデルがどのように改善されているかを示す。
  論文  参考訳（メタデータ） (2023-06-20T17:57:23Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• CLUE: Contextualised Unified Explainable Learning of User Engagement in Video Lectures [6.25256391074865]
  本稿では,オンライン授業ビデオから抽出した特徴から学習する統合モデルCLUEを提案する。 我々のモデルは、言語、文脈情報、配信されたコンテンツのテキスト感情の複雑さをモデル化するために、様々なマルチモーダル機能を利用する。
  論文  参考訳（メタデータ） (2022-01-14T19:51:06Z)
• CoCon: Cooperative-Contrastive Learning [52.342936645996765]
  自己教師付き視覚表現学習は効率的な映像分析の鍵である。 最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。 コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
  論文  参考訳（メタデータ） (2021-04-30T05:46:02Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Learning Spatiotemporal Features via Video and Text Pair Discrimination [30.64670449131973]
  クロスモーダルペア(CPD)フレームワークは、ビデオとその関連テキスト間の相関をキャプチャする。 我々は、標準的なビデオデータセット(Kinetics-210k)と未処理のWebビデオデータセット(-300k)でCDDモデルをトレーニングし、その効果を実証する。
  論文  参考訳（メタデータ） (2020-01-16T08:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。