論文の概要: Automated Video-to-QA Pipeline: End-to-End Question Generation and Verification Using Large Language Models

• arxiv url: http://arxiv.org/abs/2611.07755v1
• Date: Thu, 05 Nov 2026 10:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.648066
• Title: Automated Video-to-QA Pipeline: End-to-End Question Generation and Verification Using Large Language Models
• Title（参考訳）: ビデオからQAまでの自動パイプライン:大規模言語モデルを用いたエンドツーエンドの質問生成と検証
• Abstract要約: 本稿では,ビデオストリームから構造化質問応答対を抽出するエンドツーエンドの自動パイプラインを提案する。 音声抽出はFFで処理され、その後、Whisper(PythonのAライブラリ)を使用して自動音声認識(ASR)によって正確な書き起こしを生成する。 この仕事の重要な革新は、自己検証と微調整のループです。
• 参考スコア（独自算出の注目度）: 1.9472752597752354
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The exponential growth of educational and informational video content on platforms like YouTube presents a challenge for efficient knowledge retrieval and assessment. This paper proposes an end-to-end automated pipeline for extracting structured summaries and generating high-fidelity Question-Answer (QA) pairs from video streams. The framework integrates a cascade of state-of-the-art models: audio extraction is handled via FFmpeg, followed by automatic speech recognition (ASR) using Whisper (A library in Python) to generate accurate transcripts. Due to the token constraints of Large Language Models (LLMs), transcripts are segmented and summarized using Facebook's BART. A key innovation of this work is a Self-Verification and Fine-Tuning Loop. We utilize meta-llama/Llama-3.1-8BInstruct to generate candidate QA pairs from transcript chunks, which are then fed back into the model to rigorously assess their relevance and importance. Only verified, high-quality pairs are retained to construct a synthetic dataset. This dataset is subsequently used to fine-tune the Llama model using Low-Rank Adaptation (LoRA), resulting in a specialized model capable of generating domain-aligned assessment questions. This approach demonstrates a scalable method for creating self-improving educational tools without the need for manual data annotation. The proposed model can be downloaded from Kaggle with all the codes from GitHub.
• Abstract（参考訳）: YouTubeのようなプラットフォーム上での教育的および情報的ビデオコンテンツの指数関数的な成長は、効率的な知識検索と評価の課題を提示している。 本稿では、構造化要約を抽出し、ビデオストリームから高忠実度質問応答(QA)ペアを生成するエンドツーエンドの自動パイプラインを提案する。 音声抽出はFFmpegを介して処理され、その後Whisper(PythonのAライブラリ)を使用して自動音声認識(ASR)によって正確な書き起こしを生成する。 LLM(Large Language Models)のトークン制約のため、テキストはセグメント化され、FacebookのBARTを使って要約される。 この仕事の重要な革新は、自己検証と微調整のループです。 メタラマ/Llama-3.1-8BInstructを用いて、転写チャンクから候補QAペアを生成する。 検証済みの高品質なペアのみが、合成データセットを構築するために保持される。 このデータセットはその後、LoRA(Lo-Rank Adaptation)を使用してLlamaモデルを微調整するために使用される。 このアプローチは、手動データアノテーションを必要とせずに、自己改善型教育ツールを作成するスケーラブルな方法を示す。 提案されたモデルは、GitHubからすべてのコードでKaggleからダウンロードできる。

関連論文リスト

• Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling [68.49413265087802]
  ビデオ生成は、分離されたクリップからコヒーレントなショートフォームオーディオヴィジュアルシーケンスへと進歩した。 本報告では,Klingの歴代世代から得られたマルチモーダル理解の観察と考察について要約する。
  論文  参考訳（メタデータ） (2026-11-03T13:56:06Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models [59.525108086957296]
  Video-ChatGPTは、ビデオ適応型ビジュアルエンコーダとLLMをマージするマルチモーダルモデルである。 ビデオに関する詳細な会話を理解し、生成することができる。 我々は,ビデオチャットGPTのトレーニングに使用される10,000対のビデオ命令ペアの新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2023-06-08T17:59:56Z)
• End-to-end model for named entity recognition from speech without paired training data [12.66131972249388]
  本稿では,意味情報を抽出するエンド・ツー・エンドのニューラルモデルを構築するアプローチを提案する。 我々のアプローチは、テキストからベクトル表現のシーケンスを生成するために訓練された外部モデルを使用することに基づいている。 quEROコーパスを用いた名前付きエンティティ認識実験は,このアプローチが有望であることを示す。
  論文  参考訳（メタデータ） (2022-04-02T08:14:27Z)
• Automatic Curation of Large-Scale Datasets for Audio-Visual Representation Learning [62.47593143542552]
  本稿では,自動データセットキュレーションのためのサブセット最適化手法について述べる。 本研究では,高視聴覚対応の映像を抽出し,自己監視モデルが自動的に構築されているにもかかわらず,既存のスケールのビデオデータセットと類似したダウンストリームパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2021-01-26T14:27:47Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。