論文の概要: Intelligent Semantic Matching (ISM) for Video Tutorial Search using Transformer Models
- arxiv url: http://arxiv.org/abs/2609.12921v1
- Date: Fri, 11 Sep 2026 14:45:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.789034
- Title: Intelligent Semantic Matching (ISM) for Video Tutorial Search using Transformer Models
- Title（参考訳）: 変圧器モデルを用いたビデオチュートリアル検索のためのインテリジェントセマンティックマッチング(ISM)
- Abstract要約: ビデオチュートリアルの書き起こしから意味的にリッチなベクトルを生成するために,SBERT を用いた ISM を導入する。
書き起こしをセグメント化し、再ランクのプロセスを実装することで、ISMはコンテキストを効果的に保存する。
ISM は GPT-4 を用いて情報的な映像要約を生成し,映像コンテンツの関連性を素早く評価する。
- 参考スコア（独自算出の注目度）: 1.4037095606573826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rise in the number and diversity of available software development video tutorials has enhanced digital learning for developers but also introduced challenges in locating relevant content efficiently. Existing video search methods, including keyword-based approaches and tools like CodeTube and TechTube, rely primarily on retrieval algorithms such as BM25, which fail to capture the semantic nuances and user intentions behind search queries. To address these limitations, we introduce ISM, an approach that uses SBERT to generate semantically rich vectors from video tutorial transcripts to improve the search for programming video tutorials. By segmenting transcripts and implementing a re-ranking process, ISM effectively preserves context and enhances the relevance of search results. Additionally, ISM generates informative video summaries using GPT-4, allowing developers to quickly assess the relevance of video content. To evaluate our approach, we first performed a quantitative study comparing ISM with the baseline TechTube. The results revealed that ISM performs better in both video retrieval and fragment identification, achieving a Hit@5 score of 0.95 and an average F1 score of 0.70 compared to the baseline's 0.58 and 0.52, respectively. We also performed a user study, which revealed that users strongly preferred the semantic matching capabilities and AI-generated summaries of our approach. This work advances the state-of-the-art in programming video tutorial search and summarization by offering more nuanced and user-aligned retrieval and summarization mechanisms.
- Abstract（参考訳）: 利用可能なソフトウェア開発ビデオチュートリアルの数と多様性の増大は、開発者のためのデジタル学習を強化し、関連するコンテンツを効率的に配置する上での課題も導入した。
CodeTubeやTechTubeのようなキーワードベースのアプローチやツールを含む既存のビデオ検索手法は、主にBM25のような検索アルゴリズムに依存しており、検索クエリの背後にある意味的ニュアンスやユーザ意図をキャプチャできない。
これらの制約に対処するため,SBERTを用いてビデオチュートリアルのテキストから意味的にリッチなベクトルを生成し,ビデオチュートリアルの検索を改善する手法であるISMを導入する。
書き起こしのセグメンテーションと再ランクのプロセスを実装することで、ISMはコンテキストを効果的に保存し、検索結果の関連性を高める。
さらに、IMMはGPT-4を用いて情報的な映像要約を生成するので、開発者はビデオコンテンツの関連性を迅速に評価できる。
ISMをベースラインであるTechTubeと比較した定量的研究を行った。
その結果、ISMはビデオ検索と断片識別の両方で優れており、Hit@5スコアは0.95、F1スコアは0.70、ベースラインは0.58、F1スコアは0.52であった。
また,提案手法のセマンティックマッチング機能やAI生成サマリーを強く好んだユーザスタディも実施した。
この研究は、よりニュアンスでユーザ対応の検索と要約機構を提供することにより、プログラミングビデオチュートリアルの検索と要約の最先端を推し進める。
関連論文リスト
- ViSS-R1: Self-Supervised Reinforcement Video Reasoning [84.1180294023835]
本稿では,新しい自己教師付き強化学習GRPOアルゴリズム(Pretext-GRPO)を標準R1パイプライン内に導入する。
また、プリテキストタスクに基づく自己教師型学習をMLLMのR1ポストトレーニングパラダイムに直接統合するViSS-R1フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-17T07:00:42Z) - Dual Learning with Dynamic Knowledge Distillation and Soft Alignment for Partially Relevant Video Retrieval [53.54695034420311]
実際には、ビデオは通常、より複雑な背景コンテンツによって、長い時間で切り離される。
本稿では,大規模視覚言語事前学習モデルから一般化知識を抽出する新しい枠組みを提案する。
実験により,本モデルがTVR,ActivityNet,Charades-STAデータセット上での最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2025-10-14T08:38:20Z) - Repeating Words for Video-Language Retrieval with Coarse-to-Fine Objectives [93.31112073070906]
既存の方法はビデオ検索性能を向上させるために大規模な事前学習に依存している。
そこで我々は,より微粒な特徴を学習し,アライメントを改善するための新しいフレームワークを提案する。
追加のトレーニングなしでパフォーマンスを改善するための推論パイプラインも導入しています。
論文 参考訳（メタデータ） (2025-08-20T16:03:56Z) - AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding [73.60257070465377]
AdaVideoRAGは、軽量なインテント分類器を使用して、クエリ複雑性に基づいた検索に適応する新しいフレームワークである。
我々のフレームワークは、Omni-Knowledge Indexingモジュールを使用して、テキスト(キャプション、ASR、OCR)、視覚的特徴、セマンティックグラフから階層データベースを構築する。
実験では、既存のMLLMにシームレスに統合することで、長時間ビデオ理解のための効率と精度の向上が示されている。
論文 参考訳（メタデータ） (2025-06-16T15:18:15Z) - MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos [77.59558834294134]
本研究の目的は,テキスト・インストラクションとキー・ビデオ・フレームの形式での学習を効果的に行うための指導ビデオのマルチモーダル・サマリゼーションをユーザに提供することである。
このギャップを埋めるために,ユーザインタフェース(UI)の命令映像要約のための新しいベンチマークを提案する。
2,413のUIインストラクショナルビデオのデータセットを収集し、167時間以上にわたっています。
論文 参考訳（メタデータ） (2025-06-14T20:39:32Z) - InstructionBench: An Instructional Video Understanding Benchmark [14.71613140347162]
InstructionBenchはインストラクショナルビデオ理解ベンチマークである。
我々は、粗いイベントレベルと細かなオブジェクトレベルの推論の両方を評価するために、オープンエンドおよび複数選択形式のQ&Aペアを定式化する。
このベンチマークには、700本以上のビデオに5Kの質問が含まれている。
論文 参考訳（メタデータ） (2025-04-07T13:05:09Z) - Enhancing Subsequent Video Retrieval via Vision-Language Models (VLMs) [3.783822944546971]
視覚言語モデル(VLM)は表現学習に優れているが、適応的で時間に敏感なビデオ検索に苦慮している。
本稿では,ベクトル類似性探索とグラフに基づくデータ構造を組み合わせた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-21T01:11:14Z) - Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach [56.610806615527885]
テキストビデオ検索(TVR)における重要な課題は、ビデオとテキスト間の情報非対称性である。
本稿では,このギャップを埋めるために,テキスト表現を豊かにすることで,映像コンテンツの豊かさに合わせたデータ中心のフレームワークを提案する。
本稿では,最も関連性が高く多様なクエリを識別し,計算コストを低減し,精度を向上するクエリ選択機構を提案する。
論文 参考訳（メタデータ） (2024-08-14T01:24:09Z) - Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。
GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。
本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-05-21T11:59:36Z) - Self-Supervised Video Representation Learning with Meta-Contrastive
Network [10.768575680990415]
自己教師型アプローチの学習能力を高めるためのメタコントラストネットワーク(MCN)を提案する。
2つの下流タスク、すなわちビデオアクション認識とビデオ検索において、MCNは最先端のアプローチよりも優れている。
論文 参考訳（メタデータ） (2021-08-19T01:21:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。