論文の概要: Predicting States of Understanding in Explanatory Interactions Using Cognitive Load-Related Linguistic Cues

• arxiv url: http://arxiv.org/abs/2603.20079v1
• Date: Fri, 20 Mar 2026 15:58:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.222007
• Title: Predicting States of Understanding in Explanatory Interactions Using Cognitive Load-Related Linguistic Cues
• Title（参考訳）: 認知的負荷関連言語クイズを用いた説明的相互作用の理解状態の予測
• Authors: Yu Wang, Olcay Türk, Angela Grimminger, Hendrik Buschmeier,
• Abstract要約: 話者やリスナーが対話で示す言語的特徴と非言語的特徴が,聴取者の理解状態の予測にどのように寄与するかを検討する。 具体的には,認知的負荷に関連する3つの言語的手がかりについて検討し,聴取者の理解と相関して仮説を立てた。
• 参考スコア（独自算出の注目度）: 4.351015250928505
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We investigate how verbal and nonverbal linguistic features, exhibited by speakers and listeners in dialogue, can contribute to predicting the listener's state of understanding in explanatory interactions on a moment-by-moment basis. Specifically, we examine three linguistic cues related to cognitive load and hypothesised to correlate with listener understanding: the information value (operationalised with surprisal) and syntactic complexity of the speaker's utterances, and the variation in the listener's interactive gaze behaviour. Based on statistical analyses of the MUNDEX corpus of face-to-face dialogic board game explanations, we find that individual cues vary with the listener's level of understanding. Listener states ('Understanding', 'Partial Understanding', 'Non-Understanding' and 'Misunderstanding') were self-annotated by the listeners using a retrospective video-recall method. The results of a subsequent classification experiment, involving two off-the-shelf classifiers and a fine-tuned German BERT-based multimodal classifier, demonstrate that prediction of these four states of understanding is generally possible and improves when the three linguistic cues are considered alongside textual features.
• Abstract（参考訳）: 本研究では,対話中の話者や聞き手によって提示される言語的特徴と非言語的特徴が,モーメントに基づく説明的相互作用における聞き手の理解状態の予測にどのように寄与するかを検討する。 具体的には、認知的負荷に関連する3つの言語的手がかりについて検討し、聴取者の理解と相関する仮説として、話者の発話の情報値と統語的複雑さ、聴取者の対話的視線行動の変化について考察する。 MUNDEXコーパスによる対面対話型ボードゲーム説明の統計的解析から,個々の手がかりが聴取者の理解のレベルによって異なることがわかった。 聴取者の発言(「理解」,「部分理解」,「非理解」,「誤解」)は,振り返りビデオリコール法を用いて自己注釈した。 2つのオフ・ザ・シェルフ分類器と微細調整されたドイツ語 BERT ベースのマルチモーダル分類器を含むその後の分類実験の結果、これらの4つの理解状態の予測は一般的に可能であり、3つの言語的手がかりがテキスト的特徴とともに考慮される場合に改善されることを示した。

関連論文リスト

• Detecting Mental Manipulation in Speech via Synthetic Multi-Speaker Dialogue [12.181747090385612]
  心的操作は、他者に影響を与えるか、搾取するために、言語を戦略的に利用することである。 音声対話における心的操作検出に関する最初の研究について述べる。 少数ショットの大きな音声言語モデルと人間のアノテーションを用いて、モーダリティが検出精度と知覚にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2026-01-13T09:02:08Z)
• Computational Analysis of Conversation Dynamics through Participant Responsivity [18.116125865284666]
  応答性を定量化する手法を開発し評価する。 両手法を人間に注釈を付けた会話の真理集合に対して評価する。 次に,会話談話の様々な側面に対処するために,会話レベルの派生メトリクスを開発する。
  論文  参考訳（メタデータ） (2025-09-19T23:13:13Z)
• MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
  音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。 具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。 10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2025-07-14T23:20:42Z)
• Speaker effects in spoken language comprehension [0.9514940899499753]
  話者の同一性は、知覚と期待の両方に影響を与えることにより、音声言語理解に大きな影響を及ぼす。 本稿では,音響的詳細によって駆動されるボトムアップ認識に基づくプロセスと,話者モデルによって駆動されるトップダウン予測に基づくプロセスとの相互作用を特徴とする統合モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-10T07:03:06Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Learning to Mediate Disparities Towards Pragmatic Communication [9.321336642983875]
  言語コミュニケーションに類似した能力を持つAIエージェントを構築するためのフレームワークとして,Pragmatic Rational Speaker (PRS)を提案する。 PRSは、作業メモリに軽量の差分調整層を追加することにより、話者-リスナーの差分を学習し、それに応じて音声を調整しようとする。 長期メモリを修正することで、PSSは様々なタイプのリスナを学習し適応するためにのみ、動作メモリを更新する。
  論文  参考訳（メタデータ） (2022-03-25T14:46:43Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study [6.696983725360809]
  言語モデル(LM)は、音声言語理解(SLU)を含む様々なタスクでユビキタスに活用されている。 本研究では、SLUを話者(分散、一時停止、オーバートーク)、チャンネル(会話型、ターンタスク)、ASR(挿入、削除、置換)の3つの代表的な特性に分解することを提案する。 本稿では,BERT に基づく言語モデル (BERT, RoBERTa) を探索し,言語手がかりがない場合に多言語特性を理解する能力について検討する。
  論文  参考訳（メタデータ） (2021-09-19T11:23:50Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。