論文の概要: Anomalous Frame Detection Using VLM-Based Description Comparison for Extracting Expert-Specific Actions and Contextual Decision-Making Scenes with Intra-Video Self-Similarity

• arxiv url: http://arxiv.org/abs/2607.11957v1
• Date: Sun, 12 Jul 2026 06:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.895701
• Title: Anomalous Frame Detection Using VLM-Based Description Comparison for Extracting Expert-Specific Actions and Contextual Decision-Making Scenes with Intra-Video Self-Similarity
• Title（参考訳）: 映像内自己相似性のある専門家行動と文脈決定シーンの抽出のためのVLMによる記述比較による異常フレームの検出
• Abstract要約: 鉄道や発電所などの重要なインフラの整備は、運用上の安全性と信頼性を確保するために不可欠である。 従来の研究では、手作業による作業のビデオと専門家労働者の動画を比較して、専門家の知識の候補を抽出しようと試みてきた。 本稿では,2つのタスクビデオ間の異常なフレームを検出し,専門家固有のアクションと文脈決定シーンを含む候補シーンを自動的に抽出する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.042545248352921276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maintenance of critical infrastructures, such as railways and power plants, is essential for ensuring operational safety and reliability. However, the declining number of skilled maintenance workers highlights the need to transfer expert know-how to less experienced workers. Previous studies have attempted to extract candidates of expert knowledge by comparing videos of manual-based work with those of expert workers, mainly focusing on differences in observable actions. However, expert know-how is often embedded not only in actions but also in contextual decision-making during task execution. This paper proposes a method that detects anomalous frames between two task videos to automatically extract candidate scenes containing expert-specific actions and contextual decision-making scenes. The method generates frame-wise visual descriptions using a vision-language model (VLM). Expert-specific actions are extracted based on frame similarities computed from description comparisons between two videos, while contextual decision-making scenes are extracted using segment similarities derived from intra-video self-similarity of the descriptions. In simulated distribution board maintenance experiments involving 27 task scenarios, the proposed method achieved extraction rates of 65% for action candidates and 61% for decision-scene candidates, improving over conventional methods that achieved 59% and 33%, respectively. These results demonstrate the effectiveness of the proposed approach in discovering candidate scenes containing expert know-how.
• Abstract（参考訳）: 鉄道や発電所などの重要なインフラの整備は、運用上の安全性と信頼性を確保するために不可欠である。 しかし,熟練保守作業員の減少は,経験不足者への専門家ノウハウの移転の必要性を浮き彫りにしている。 従来の研究では、手作業の動画と専門家の動画を比較し、観察可能な行動の違いに着目して専門家の知識の候補を抽出しようと試みてきた。 しかし、専門家のノウハウはアクションだけでなく、タスク実行中のコンテキスト決定にも組み込まれていることが多い。 本稿では,2つのタスクビデオ間の異常なフレームを検出し,専門家固有のアクションと文脈決定シーンを含む候補シーンを自動的に抽出する手法を提案する。 視覚言語モデル(VLM)を用いてフレームワイドな視覚記述を生成する。 2つのビデオ間の記述比較から計算したフレーム類似度に基づいて、専門家固有のアクションを抽出し、その記述の自己相似性から得られるセグメント類似度を用いて文脈決定シーンを抽出する。 27の課題シナリオを含む配電盤保守実験において,提案手法は行動候補の65%,意思決定候補の61%を抽出し,従来の59%,33%をそれぞれ改善した。 これらの結果は,専門家のノウハウを含む候補シーンの発見における提案手法の有効性を示すものである。

関連論文リスト

• Anomalous Frame Detection by Grouping Frame Similarities between Two Videos Computed by Vision-Language Model to Extract Expert Workers' Unique Actions [0.0]
  鉄道や発電所などの重要なインフラの整備は、運用上の安全性と信頼性に不可欠である。 従来の面接ベースのアプローチは、メンテナンススキルを引き出すために使われてきたが、専門家自身が意識的に認識できないノウハウを捉えるのに苦労している。 本稿では,手動作業の映像と熟練保守作業員の映像を比較し,ノウハウを含む候補行動の異常フレームを検出する手法を提案する。
  論文  参考訳（メタデータ） (2026-07-12T06:30:26Z)
• Reasoning Text-to-Video Retrieval for Operating Room Clips via Action-Driven Digital Twins [10.60845088912767]
  本稿では,クリップをアクション駆動型デジタルツイン(ActDT)に変換するテキスト・ビデオ検索手法OR3を提案する。 ロボット膝手術の386クリップに対して,4つの推論カテゴリに276の暗黙クエリを持つMM-ORのベンチマークを構築した。 OR3は57.6 R@1と77.3 R@5を達成し、最強のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-06-15T21:06:53Z)
• Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts [58.86896791968143]
  MoE(Multimodal Mixture-of-Experts)モデルは視覚言語タスクにおいて顕著なパフォーマンスを実現している。 モデルは画像の内容が正確に知覚されるが、その後の推論では失敗する。 本稿では,視覚的な入力を処理する際に,タスク関連推論の専門家を適切に活性化できないという,ルーティング・ディトラクションの仮説を提案する。
  論文  参考訳（メタデータ） (2026-04-09T17:59:44Z)
• TokenBinder: Text-Video Retrieval with One-to-Many Alignment Paradigm [26.706441126814934]
  TokenBinderは人間の認知科学における比較判断にインスパイアされている。 本手法では,高度なクロスアテンション機構を備えたFocused-view Fusion Networkを採用している。 実験の結果,TokenBinderは既存の最先端手法よりもかなり優れていたことが確認された。
  論文  参考訳（メタデータ） (2024-09-30T01:49:37Z)
• SOAR: Scene-debiasing Open-set Action Recognition [81.8198917049666]
  本稿では、対向的なシーン再構成モジュールと適応的な対向的なシーン分類モジュールを備えた、Scene-debiasing Open-set Action Recognition (SOAR)を提案する。 前者は、デコーダが映像特徴の映像背景を再構成することを防止し、特徴学習における背景情報を低減する。 後者は、アクションフォアグラウンドに特に重点を置いて、映像の特徴を与えられたシーンタイプの分類を混乱させることを目的としており、シーン不変情報を学習するのに役立つ。
  論文  参考訳（メタデータ） (2023-09-03T20:20:48Z)
• MINOTAUR: Multi-task Video Grounding From Multimodal Queries [70.08973664126873]
  長文ビデオにおける問合せに基づくビデオ理解に一貫した単一のモデルを提案する。 特に、我々のモデルは、Ego4D Episodic Memoryベンチマークの3つのタスクすべてに対処できる。
  論文  参考訳（メタデータ） (2023-02-16T04:00:03Z)
• CLOP: Video-and-Language Pre-Training with Knowledge Regularizations [43.09248976105326]
  ビデオと言語による事前学習は、一般化可能な表現を学習するための有望な結果を示している。 このような表現形式を構造的知識として表現し、複数の粒度のリッチな意味論を表現する。 知識正規化を用いたCLOP(Cross-modaL knedgeOwl-enhanced Pre-training)法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T05:32:12Z)
• Chain of Thought Imitation with Procedure Cloning [129.62135987416164]
  本稿では,一連の専門家計算を模倣するために,教師付きシーケンス予測を適用したプロシージャクローニングを提案する。 本研究では、専門家の行動の中間計算を模倣することで、プロシージャのクローン化により、未知の環境構成に顕著な一般化を示すポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-22T13:14:09Z)
• Pretext Tasks selection for multitask self-supervised speech representation learning [23.39079406674442]
  提案手法では,候補群の中からプレテキストタスク群を選択する手法を提案する。 話者認識と自動音声認識の実験により,我々のアプローチが検証された。
  論文  参考訳（メタデータ） (2021-07-01T16:36:29Z)
• MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection [76.80153360498797]
  タスク固有の識別表現を効率的に洗練するためのマルチインスタンス自己学習フレームワーク(MIST)を開発した。 mistは1)スパース連続サンプリング戦略を適用し,より信頼性の高いクリップレベル擬似ラベルを生成するマルチインスタンス擬似ラベル生成器,2)自己誘導型注意強調特徴エンコーダで構成される。 本手法は,上海技術におけるフレームレベルのAUC 94.83%の取得において,既存の教師付きおよび弱教師付き手法と同等あるいはそれ以上に機能する。
  論文  参考訳（メタデータ） (2021-04-04T15:47:14Z)
• A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos [126.66212285239624]
  本稿では,調理ビデオから抽出した構造化手続き的知識のベンチマークを提案する。 手動で注釈付けしたオープン語彙リソースには、356の指導的調理ビデオと15,523のビデオクリップ/文レベルのアノテーションが含まれています。
  論文  参考訳（メタデータ） (2020-05-02T05:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。