論文の概要: InterView-C: A Synchronized Multimodal Corpus of VR Avatar-Mediated Survey Interviews

• arxiv url: http://arxiv.org/abs/2610.10145v1
• Date: Wed, 07 Oct 2026 14:23:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.957963
• Title: InterView-C: A Synchronized Multimodal Corpus of VR Avatar-Mediated Survey Interviews
• Title（参考訳）: InterView-C:VRアバターを媒介とした調査のシンクロナイズドマルチモーダルコーパス
• Abstract要約: We present InterView-C, a German multimodal corpus of 27 survey interview performed out in virtual reality。 コーパスは、視線、頭と体の動き、顔の動き、手と指の追跡など、同期した行動データと音声による相互作用を一致させる。 その参照書き起こしと言語アノテーションは、このマルチモーダル音声対話と、主にテキストベースのNLPメソッドの間の信頼性の高いインターフェースを提供する。
• 参考スコア（独自算出の注目度）: 39.049779771026856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present InterView-C, a German multimodal corpus of 27 survey interviews conducted entirely in virtual reality, with both interlocutors represented by avatars. The corpus aligns spoken interaction with synchronized behavioral data, including gaze, head and body movement, facial behavior, hand and finger tracking. Its reference transcripts and linguistic annotations provide a reliable interface between this multimodal spoken interaction and predominantly text-based NLP methods. This interface is important because automatically transcribing speech can distort linguistically relevant information, while downstream models trained on existing resources may additionally face transfer challenges when applied to transcribed spoken data. InterView-C therefore provides word-timed and manually post-edited verbatim transcripts for all 54 recordings, interview-item timings, questionnaire responses and negation cue and scope annotations for 1,422 sentences, 1,398 of them doubly annotated (α=0.87 for cues; α=0.81 for scopes). We demonstrate both challenges empirically: nine open-weight ASR systems disproportionately misrecognize short closed answers and number words, while negation models trained on existing corpora show lower and highly variable performance on our transcribed interviews than a model trained on the InterView-C annotations. InterView-C thus enables linguistic analyses of spoken interaction while retaining their alignment with rich multimodal behavior.
• Abstract（参考訳）: われわれは、バーチャルリアリティーで実施された27回の調査インタビューをドイツのマルチモーダルコーパスであるInterView-Cを紹介し、両者をアバターで表現した。 コーパスは、視線、頭と体の動き、顔の動き、手と指の追跡など、同期した行動データと音声による相互作用を一致させる。 その参照書き起こしと言語アノテーションは、このマルチモーダル音声対話と、主にテキストベースのNLPメソッドの間の信頼性の高いインターフェースを提供する。 このインタフェースは,音声を自動で書き起こすと言語的に関連のある情報が歪んでしまうため,既存の資源で訓練された下流モデルでは,音声データへの変換が困難になる可能性があるため重要である。 それゆえ、InterView-Cは54の録音、インタビュー・イテムのタイミング、質問応答、否定キュー、スコープアノテーションを1,422文、そのうち1,398文を二重アノテーション(cuesはα=0.87、スコープはα=0.81)に、単語タイムと手作業で翻訳した動詞の書き起こしを提供する。 9つのオープンウェイトなASRシステムは、短いクローズドな回答と数字の単語を不当に誤認識する一方、既存のコーパスで訓練された否定モデルは、InterView-Cアノテーションで訓練されたモデルよりも、私たちが書き起こしたインタビューにおいて、より低く、高度に変動したパフォーマンスを示す。 これにより、InterView-Cは、リッチなマルチモーダル動作と整合性を維持しながら、音声対話の言語分析を可能にする。

関連論文リスト

• MT-PingEval: Evaluating Multi-Turn Collaboration with Private Information Games [70.37904949359938]
  我々は,プライベート情報に関する効果的なコミュニケーションを必要とする協調ゲーム群を用いて,マルチターンインタラクションにおける言語モデルの評価を行った。 言語モデルでは,非対話的なベースラインシナリオを改善するために,対話的なコラボレーションを利用できないことがわかった。 我々は,これらの対話の言語的特徴を分析し,サイコフナンシー,情報密度,談話コヒーレンスの役割を評価する。
  論文  参考訳（メタデータ） (2026-02-27T17:13:20Z)
• MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
  音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。 具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。 10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2025-07-14T23:20:42Z)
• ViClaim: A Multilingual Multilabel Dataset for Automatic Claim Detection in Videos [8.163570757541125]
  ViClaimは、3つの言語(英語、ドイツ語、スペイン語)と6つのトピックにわたる1,798の注釈付きビデオテキストのデータセットである。 転写文の各文には、クレーム関連カテゴリ: fact-check-worthy, fact-non-check-worthy, opinionの3つがラベル付けされている。
  論文  参考訳（メタデータ） (2025-04-17T12:14:38Z)
• InterviewBot: Real-Time End-to-End Dialogue System to Interview Students for College Admission [18.630848902825406]
  InterviewBotは会話履歴とカスタマイズされたトピックをコヒーレントな埋め込みスペースに統合する。 7,361件の人間対人間インタビューの音声録音を自動転写し、440件を手作業で微調整・評価する。 InterviewBotは、その回答をインタビューデータと比較することで統計的にテストし、プロのインタビュアーや様々な学生にリアルタイムで対話させることによって動的にテストする。
  論文  参考訳（メタデータ） (2023-03-27T09:46:56Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos [55.52369116870822]
  本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。 自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
  論文  参考訳（メタデータ） (2021-10-12T14:59:25Z)
• Interview: A Large-Scale Open-Source Corpus of Media Dialog [11.28504775964698]
  本稿では,ニュースインタビューの書き起こしから収集した大規模(105Kの会話)メディアダイアログデータセット「Interview」を紹介する。 既存の会話データに対する大規模プロキシと比較して、我々のデータセットでトレーニングされた言語モデルは、ドメイン外のゼロショットのパフォーマンスが向上する。 「インタービュー」には各ターンの話者ロールアノテーションが含まれており、エンゲージメント・レスポンシブ・ダイアログシステムの開発を容易にする。
  論文  参考訳（メタデータ） (2020-04-07T02:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。