論文の概要: Effects of Transcript Compression on LLM-based Medical Misinformation Detection in Japanese YouTube Videos
- arxiv url: http://arxiv.org/abs/2609.30882v1
- Date: Fri, 25 Sep 2026 06:42:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.259778
- Title: Effects of Transcript Compression on LLM-based Medical Misinformation Detection in Japanese YouTube Videos
- Title(参考訳): 日本語YouTubeビデオにおける転写圧縮がLDMに基づく医療的誤情報検出に及ぼす影響
- Abstract要約: 本研究は, 転写圧縮が日本の医用YouTubeビデオの精度分類に与える影響について検討した。
74本の長文動画をReal or Fakeとラベル付けし,分類性能を評価し,言語変化を分析した。
- 参考スコア(独自算出の注目度): 1.7383529716919253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used to assess long-form medical videos, but their effectiveness may depend on whether transcripts are provided in full or compressed through summarization, retrieval, or claim screening. This study examines how such transcript compression affects LLM-based veracity classification of Japanese medical YouTube videos. We compare four transcript input designs: full transcripts, LLM-generated summaries, RAPTOR-based retrievalaugmented generation (RAG), and Screening, which extracts candidate medical and health-related sentences. Using 74 long-form videos labeled as Real or Fake, we evaluate classification performance and analyze linguistic changes using J-LIWC, hedge expressions, and institutional or technical terms. The full-transcript Baseline achieved the best performance, whereas all compressed inputs increased false negatives, meaning that Fake videos were more likely to be misclassified as Real. Summary caused the largest performance drop, while Screening performed best among the compressed inputs but still omitted many medically relevant sentences. Linguistic analyses showed that these errors were not explained by a simple increase in certainty. Instead, Summary reduced affective, social, temporal, cognitive, and conversational cues, while Summary and RAG made institutional and technical terms more salient. These findings suggest that transcript compression can represent Fake videos as more coherent and authoritative inputs, thereby weakening cues needed for misinformation detection
- Abstract(参考訳): 大規模言語モデル(LLM)は、長大な医療ビデオを評価するために使われることが多いが、その有効性は、要約、検索、クレームスクリーニングによって、全文または圧縮された文書が提供されるかどうかに依存する可能性がある。
本研究では,このような転写圧縮が,日本の医用YouTubeビデオのLCMに基づく精度分類にどのように影響するかを検討する。
書字入力は, フルテキスト, LLM 生成要約, RAPTOR に基づく検索拡張生成 (RAG) と, 候補となる医学・健康関連文を抽出するスクリーニングの4つを比較した。
74本のビデオを用いて分類性能を評価し,J-LIWC, ヘッジ表現, 制度用語, 技術用語を用いて言語変化を分析した。
フルテキストのBaselineは最高のパフォーマンスを達成したが、圧縮されたすべての入力は偽陰性を高めた。
要約は最大のパフォーマンス低下を引き起こし、Screeningは圧縮された入力の中で最高のパフォーマンスを示したが、それでも多くの医学的関連文を省略した。
言語学的分析では、これらの誤りは確実性の単純な増大によって説明されなかった。
代わりに、サマリは感情的、社会的、時間的、認知的、会話的な手段を減らし、サプリメントとRAGは制度的、技術的用語をより健全なものにした。
これらの結果から, 転写圧縮はFakeビデオをより一貫性と信頼性のある入力として表現し, 誤報検出に必要な手がかりを弱めることが示唆された。
関連論文リスト
- Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。
内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
論文 参考訳(メタデータ) (2026-03-31T16:31:25Z) - Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models [49.435669307386156]
MPR(Multi-stage Prompt Refinement)は、複数のステージにわたる不整形プロンプトを体系的に改善するためのフレームワークである。
MPRは、追加の文脈でプロンプトの明快さを反復的に強化し、最も関連する入力を優先順位付けするためにランク付けされた自己回帰機構を使用する。
幻覚ベンチマークの結果、MPRは原型と比較して85%以上の勝利率を達成した。
論文 参考訳(メタデータ) (2025-10-14T00:31:36Z) - FIFA: Unified Faithfulness Evaluation Framework for Text-to-Video and Video-to-Text Generation [30.111545374280194]
VideoMLLMは、ビデオ・トゥ・テキスト・タスクとテキスト・トゥ・ビデオタスクの両方において顕著な進歩を遂げている。
彼らはしばしば幻覚に悩まされ、視覚的な入力と矛盾する内容を生み出す。
既存の評価方法は1つのタスクに限られており、オープンエンドのフリーフォーム応答における幻覚の評価にも失敗する。
包括的記述的事実を抽出する統合FaIthFulness evAluationフレームワークであるFIFAを提案する。
また,幻覚的コンテンツを修正したツールベースの修正フレームワークであるPost-Correctionを紹介する。
論文 参考訳(メタデータ) (2025-07-09T03:51:27Z) - ARGUS: Hallucination and Omission Evaluation in Video-LLMs [86.73977434293973]
ARGUSは、無料のビデオキャプションのパフォーマンスを測定するビデオLLMベンチマークである。
ビデオLLM出力と人間の真実のキャプションを比較することで、ARGUSは2つのメトリクスを定量化する。
論文 参考訳(メタデータ) (2025-06-09T02:42:13Z) - Evaluation of LLMs in Medical Text Summarization: The Role of Vocabulary Adaptation in High OOV Settings [26.442558912559658]
近年,Large Language Models (LLMs) は,テキスト内学習を単純に利用することで,医学的テキスト要約において大きな成功を収めている。
その結果,LLMは語彙外単語の濃度が高い点や,新規性が高い点では顕著な性能低下を示した。
語彙適応は、この語彙ミスマッチ問題に対する直感的な解決法である。
論文 参考訳(メタデータ) (2025-05-27T14:23:03Z) - The Sound of Healthcare: Improving Medical Transcription ASR Accuracy
with Large Language Models [0.0]
大言語モデル(LLM)は、医学転写における音声認識システム(ASR)の精度を高めることができる。
本研究は, 単語誤り率(WER), 医用概念WER(MC-WER)の精度向上, 話者ダイアリゼーション精度の向上に焦点を当てた。
論文 参考訳(メタデータ) (2024-02-12T14:01:12Z) - Models See Hallucinations: Evaluating the Factuality in Video Captioning [57.85548187177109]
ビデオキャプションにおける実感の人間による評価を行い、2つの注釈付き実感データセットを収集する。
モデル生成文の57.0%に事実誤りがあり、この分野では深刻な問題であることを示す。
本稿では,映像キャプションの事実性評価において,従来の指標より優れていたモデルベース事実性指標FactVCを提案する。
論文 参考訳(メタデータ) (2023-03-06T08:32:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。