Fugu-MT 論文翻訳(概要): Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas

論文の概要: Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas

arxiv url: http://arxiv.org/abs/2607.02504v1
Date: Thu, 02 Jul 2026 17:58:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-03 19:45:08.962839
Title: Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas
Title（参考訳）: ロングフォームテレビドラマにおけるLLMによる話者認識の改善
Abstract要約: DramaSR-LRMはマルチモーダルツールを使った多種多様な入力を通じて文脈証拠を自律的に集約して高忠実な帰属を実現するように設計されている。実験の結果,DramaSR-LRMは既存のベースラインを著しく上回ることがわかった。
参考スコア（独自算出の注目度）: 76.70045115464431
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Long-form TV dramas present a formidable challenge for comprehensive video understanding, where deciphering complex storyline often relies on \textbf{speaker recognition}, the task of accurately attributing each spoken utterance to its respective character. In this paper, we advance this field through two primary contributions. (1) We introduce \textbf{DramaSR-532K}, a large-scale benchmark comprising 532K annotated dialogue lines across more than 900 unique characters, necessitating the integration of auditory, linguistic, and visual cues for speaker recognition. (2) We propose \textbf{DramaSR-LRM}, a robust approach built upon a large reasoning model (LRM). DramaSR-LRM is designed to autonomously aggregate contextual evidence via multimodal tool-use, synthesizing diverse inputs to achieve high-fidelity attribution. Experimental results demonstrate that DramaSR-LRM significantly outperforms existing baselines, particularly on short utterances where acoustic biometrics are inherently unreliable. \textit{All the data and code will be made publicly available at the project page: https://www.github.com/198808xc/DramaSR-LRM.}
Abstract（参考訳）: ロングフォームテレビドラマは、複雑なストーリーラインの解読が、それぞれの発話をそれぞれの文字に正確に帰属させるタスクである「textbf{speaker recognition}」に依存するという、包括的ビデオ理解の難しい課題を提示する。本稿では,2つの主要な貢献を通じてこの分野を前進させる。 1) 900文字以上にわたる532Kの注釈付き対話行を含む大規模ベンチマークである「textbf{DramaSR-532K}」を導入する。 2)大きな推論モデル(LRM)に基づいて構築されたロバストなアプローチである「textbf{DramaSR-LRM}」を提案する。 DramaSR-LRMはマルチモーダルツールの使用を通じて文脈証拠を自律的に集約し、多種多様な入力を合成して高忠実な属性を実現するように設計されている。実験結果から,DramaSR-LRMは既存のベースライン,特に音響バイオメトリックスが本質的に信頼性の低い短い発話よりも優れていた。 https://www.github.com/ 198808xc/DramaSR-LRM。 ※

関連論文リスト

ATIR: Towards Audio-Text Interleaved Contextual Retrieval [63.68521448682396]
本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
論文参考訳（メタデータ） (2026-04-22T07:11:58Z)
DialogGraph-LLM: Graph-Informed LLMs for End-to-End Audio Dialogue Intent Recognition [10.94195981338177]
DialogGraph-LLMは、音声対話における話者意図を認識するためのエンドツーエンドフレームワークである。 MR-DAN(Multi-Relational Dialogue Attention Network)アーキテクチャと直接音響からインテントへの推論のためのマルチモーダル基礎モデルを組み合わせる。このフレームワークは、現実世界のシナリオ音声対話において、意図認識における高いパフォーマンスと効率を示す。
論文参考訳（メタデータ） (2025-11-14T06:42:04Z)
VoxRole: A Comprehensive Benchmark for Evaluating Speech-Based Role-Playing Agents [25.2769510663867]
我々は、音声ベースのRPCAsの評価に特化して設計された最初の総合ベンチマークであるVoxRoleを紹介する。ベンチマークは13335のマルチターンダイアログで構成され、261本の映画に1228のユニークなキャラクターから65.6時間のスピーチがある。
論文参考訳（メタデータ） (2025-09-04T07:03:46Z)
AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文参考訳（メタデータ） (2025-08-29T07:40:39Z)
MOMENTS: A Comprehensive Multimodal Benchmark for Theory of Mind [41.188841829937466]
MoMentS (Multimodal Mental States) は、社会的にインテリジェントなマルチモーダルエージェントを構築するためのベンチマークである。 MoMentSには、7つの異なるToMカテゴリにまたがる2300以上の多重選択質問が含まれている。いくつかのMLLMを評価し、ビジョンは一般的に性能を改善するが、モデルがそれを効果的に統合するのに苦戦していることを発見した。
論文参考訳（メタデータ） (2025-07-06T15:06:30Z)
What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
論文参考訳（メタデータ） (2025-06-14T15:26:31Z)
CoVoMix2: Advancing Zero-Shot Dialogue Generation with Fully Non-Autoregressive Flow Matching [78.01028753403575]
CoVoMix2はゼロショットマルチトーカー対話生成のためのフレームワークである。フローマッチングに基づく生成モデルを用いて、マルチストリームの転写からメルスペクトルを予測する。提案手法は,MoonCastやSesameといった強力なベースラインを,音声品質,話者の整合性,推論速度で上回り,最先端の性能を実現する。
論文参考訳（メタデータ） (2025-06-01T07:51:45Z)
CMT-LLM: Contextual Multi-Talker ASR Utilizing Large Language Models [23.278483193586887]
本稿では,複数話者の重なり合う音声認識とコンテキストバイアスをひとつのタスクに組み合わせた統合フレームワークを提案する。提案手法は従来の文脈バイアス法よりも優れており,WERはLibriMixで7.9%,AMI SDMで32.9%を達成している。
論文参考訳（メタデータ） (2025-05-31T07:26:44Z)
EchoInk-R1: Exploring Audio-Visual Reasoning in Multimodal LLMs via Reinforcement Learning [108.73513190593232]
MLLM(Multimodal large language model)は、テキスト、視覚、音声にまたがる高度な認識を持つが、構造化されたクロスモーダル推論に苦慮する。 MLLMにおけるそのような推論を強化する強化学習フレームワークであるEchoInk-R1を紹介する。
論文参考訳（メタデータ） (2025-05-07T17:59:49Z)
Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。本稿では,Llama-AVSRを提案する。我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
論文参考訳（メタデータ） (2024-09-18T21:17:27Z)
LibriheavyMix: A 20,000-Hour Dataset for Single-Channel Reverberant Multi-Talker Speech Separation, ASR and Speaker Diarization [31.01716151301142]
本稿では、音声分離、音声認識、話者ダイアリゼーションの研究を進めるために、大規模遠距離重畳音声データセットを提案する。このデータセットは、マルチストーカー、リバーラント環境において、Who氏の“What and When’’”を復号するための重要なリソースである。
論文参考訳（メタデータ） (2024-09-01T19:23:08Z)
Disentangled Speech Embeddings using Cross-modal Self-supervision [119.94362407747437]
本研究では,映像における顔と音声の自然な相互同期を生かした自己教師型学習目標を提案する。我々は,(1)両表現に共通する低レベルの特徴を共有する2ストリームアーキテクチャを構築し,(2)これらの要因を明示的に解消する自然なメカニズムを提供する。
論文参考訳（メタデータ） (2020-02-20T14:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。