論文の概要: Evaluating Large Language Models Abilities for Addressee, Turn-change, and Next Speaker Prediction in Meetings

• arxiv url: http://arxiv.org/abs/2606.17542v1
• Date: Tue, 16 Jun 2026 05:46:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.293259
• Title: Evaluating Large Language Models Abilities for Addressee, Turn-change, and Next Speaker Prediction in Meetings
• Title（参考訳）: 会議の出席者, 交替者, および次の話者予測のための大規模言語モデルの評価
• Authors: Ryo Fukuda, Takatomo Kano, Siddhant Arora, Marc Delcroix, Naohiro Tawara, Atsunori Ogawa, Yuya Chiba, Atsushi Ando, William Chen, Shinji Watanabe,
• Abstract要約: 大規模言語モデル(LLM)を用いたマルチモーダル多人数会話におけるターンテイクの検討 アドレス検出,ターンチェンジ予測,次の話者予測という3つのタスクに対する評価フレームワークを構築した。 我々は、これらのタスク、テキストベースLLM、マルチモーダルLLM(MM-LLM)、およびヒトの被験者を対象に訓練された教師付きモデルを比較した。
• 参考スコア（独自算出の注目度）: 85.35443905857876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate turn-taking in multimodal multi-party conversations using large language models (LLMs). We construct an evaluation framework for three tasks: addressee detection, turn-change prediction, and next speaker prediction. We compare supervised models trained for these tasks, text-based LLMs, multimodal LLMs (MM-LLMs), and human subjects. Experiments on the AMI corpus showed that LLMs outperformed supervised models and humans in next speaker prediction, despite not being trained on the target domain and without access to audio or visual information. An MM-LLM performed better than text-based LLMs on addressee detection and turn-change prediction but remained below human performance, indicating difficulty leveraging raw audio-visual signals. Ablation analyses revealed that conversational context was critical, particularly for next speaker prediction. We observed that human and LLM prediction patterns were similar, and intervals with frequent turn changes were difficult for both.
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いたマルチモーダル多人数会話におけるターンテイクについて検討した。 アドレス検出,ターンチェンジ予測,次の話者予測という3つのタスクに対する評価フレームワークを構築した。 我々は、これらのタスク、テキストベースLLM、マルチモーダルLLM(MM-LLM)、およびヒトの被験者を対象に訓練された教師付きモデルを比較した。 AMIコーパスの実験では、LLMはターゲット領域で訓練を受けておらず、オーディオや視覚情報にアクセスできないにもかかわらず、次の話者予測において教師付きモデルや人間よりも優れていた。 MM-LLMは、アドレナ検出とターンチェンジ予測においてテキストベースのLLMよりも優れた性能を示したが、人間のパフォーマンスに劣らず、生の音声視覚信号の活用が困難であった。 アブレーション分析により、会話の文脈は特に次の話者予測にとって重要であることが判明した。 その結果,人間とLLMの予測パターンは類似しており,旋回が頻発する間隔は双方にとって困難であった。

関連論文リスト

• SayNext-Bench: Why Do LLMs Struggle with Next-Utterance Prediction? [42.890703748349814]
  先行モデルでさえ、人間の話者の次の発話を予測するのに驚くほど苦労しています。 その代わり、人間は、コンテキストからジェスチャー、視線、感情のトーンといったマルチモーダルな手がかりに基づいて、来るべき発話を予測できる。 我々は,会話における予測処理をエミュレートするために,認知にインスパイアされた設計を取り入れた2経路予測MLLM,SayNext-Chatを開発した。
  論文  参考訳（メタデータ） (2026-01-30T21:27:45Z)
• ELEGANCE: Efficient LLM Guidance for Audio-Visual Target Speech Extraction [88.41471266579333]
  本稿では,大規模言語モデル(LLM)からの言語知識をAV-TSEモデルに組み込む新しいフレームワークであるELEGANCEを提案する。 2つのAV-TSEバックボーン上でのRoBERTa、Qwen3-0.6B、Qwen3-4Bによる総合的な実験は大幅に改善された。
  論文  参考訳（メタデータ） (2025-11-09T08:50:11Z)
• Incorporating Linguistic Constraints from External Knowledge Source for Audio-Visual Target Speech Extraction [87.49303116989708]
  AV-TSEの補助的知識源として,事前学習言語モデル (PSLM) と事前学習言語モデル (PLM) の可能性を検討する。 本研究では, AV-TSE モデルに対するPSLM や PLM からの言語制約を追加の監視信号として活用することを提案する。 推論中に余分な計算コストがなければ、提案手法は音声品質と知能性を一貫して改善する。
  論文  参考訳（メタデータ） (2025-06-11T14:36:26Z)
• Lla-VAP: LSTM Ensemble of Llama and VAP for Turn-Taking Prediction [0.0]
  本プロジェクトは,マルチモーダルアンサンブルアプローチを用いて,ターンテイク予測のための既存の戦略を拡張した。 我々は,スクリプト化されたシナリオと記述されていないシナリオの両方において,TRPを識別する精度と効率を改善することを目的としている。
  論文  参考訳（メタデータ） (2024-12-24T00:20:38Z)
• Turn-taking and Backchannel Prediction with Acoustic and Large Language Model Fusion [38.78341787348164]
  大規模言語モデル(LLM)を用いたニューラル音響モデルを用いた音声対話におけるターンテイクとバックチャネル位置の連続予測手法を提案する。 Switchboardの人間と人間の会話データセットの実験は、我々のアプローチが単一のモダリティでベースラインモデルより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2024-01-26T08:59:07Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Multimodality and Attention Increase Alignment in Natural Language Prediction Between Humans and Computational Models [0.8139163264824348]
  人間は、次の単語の処理を容易にするために、視覚的手がかりのような健全なマルチモーダル機能を使用することが知られている。 マルチモーダル計算モデルは、視覚的注意機構を使用して視覚的および言語的データを統合して、次の単語の確率を割り当てることができる。 本研究では,人間からの予測可能性の推定値が,マルチモーダルモデルと非モーダルモデルとのスコアとより密に一致していることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:30:07Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。