Fugu-MT 論文翻訳(概要): Talking to Me or Someone Else? Rethinking Talk-to-Me Detection in Egocentric Videos

論文の概要: Talking to Me or Someone Else? Rethinking Talk-to-Me Detection in Egocentric Videos

arxiv url: http://arxiv.org/abs/2609.14118v1
Date: Sat, 12 Sep 2026 19:46:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.68892
Title: Talking to Me or Someone Else? Rethinking Talk-to-Me Detection in Egocentric Videos
Title（参考訳）: 自分や誰かと会話する : エゴセントリックなビデオにおける話し方検出の再考
Abstract要約: カメラ装着者と話をしている人に対するオンライン理解は、エゴセントリックなソーシャルインタラクションの鍵となる能力である。既存のトーク・ツー・ミー(TTM)研究は、一般的にオフラインのクリップレベルの認識として定式化されている。
参考スコア（独自算出の注目度）: 34.092706797367974
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Online understanding of who is talking to the camera wearer is a key capability for egocentric social interaction. However, existing talk-to-me (TTM) studies are commonly formulated as offline clip-level recognition, which is poorly aligned with online interaction and overlooks the diverse non-TTM speaking states that naturally arise in egocentric videos. In this paper, we revisit this problem by reformulating it as an online, frame-level prediction task. Instead of treating TTM as a binary problem against a single negative class, we model it in the presence of diverse and previously underexplored non-TTM states, such as talking-to-others, self-talking, and background conditions. To support this new formulation, we construct an Online TTM Dataset consisting of 406 egocentric video clips with approximately 900K annotated frames, each labeled with frame-level social interaction categories (e.g., background, TTM, talking-to-others, self-talking), by extending the Ego4D social interaction benchmark. In this benchmark, we evaluate five adapted baselines and develop a new model that integrates social cues across modalities. Experimental results show that our multimodal model, which jointly leverages audio, visual, and speech-semantic cues, achieves 75.5% frame-level F1 on TTM, outperforming strong baselines and enabling a systematic analysis of how different speaking states affect TTM recognition.
Abstract（参考訳）: カメラ装着者と話をしている人に対するオンライン理解は、エゴセントリックなソーシャルインタラクションの鍵となる能力である。しかし、既存のトーク・ツー・ミー(TTM)研究は一般的にオフラインのクリップレベルの認識として定式化されており、これはオンラインのインタラクションと整合性に乏しく、自我中心のビデオに自然に現れる多様な非TTM発話状態を見落としている。本稿では,オンラインのフレームレベルの予測タスクとして再構成することで,この問題を再考する。 TTMを単一負のクラスに対して二項問題として扱う代わりに、他者との会話、自己学習、背景条件など、多種多様な未探索の非TTM状態の存在下でモデル化する。この新定式化を支援するために,約900Kのアノテートフレームを持つ406本のエゴセントリックなビデオクリップからなるオンラインTTMデータセットを構築し,Ego4Dソーシャルインタラクションベンチマークを拡張して,フレームレベルのソーシャルインタラクションカテゴリ(背景,TTM,話し相手,セルフトーキング)をラベル付けした。本ベンチマークでは,5つの適応ベースラインを評価し,モダリティにまたがるソーシャル・キューを統合する新しいモデルを開発した。実験結果から, 音声, 視覚, 音声のセマンティックキューを併用したマルチモーダルモデルは, TTM上で75.5%のフレームレベルF1を実現し, 高いベースラインを達成し, 異なる発話状態がTTM認識に与える影響を体系的に解析できることがわかった。

関連論文リスト

MMDS-Bench: Benchmarking Multimodal Large Language Models on Dynamic Stance in Social Media Interactions [24.97843643104738]
ソーシャルメディアの親-応答相互作用におけるマルチモーダル動的姿勢分類のための診断ベンチマークであるMMDS-Benchを紹介する。 MMDS-Benchには7ラベルの動的スタンス分類を付加した3,482のマルチモーダルインスタンスが含まれている。我々は,12のオープンソースおよびオープンソースマルチモーダル大言語モデルを評価し,推論品質を評価するための基準基底LLM-judgeプロトコルを提案する。
論文参考訳（メタデータ） (2026-08-31T14:53:08Z)
EgoAdapt: Enhancing Robustness in Egocentric Interactive Speaker Detection Under Missing Modalities [18.332508545927578]
本研究では,モダリティの欠如した話者検出のための適応型フレームワークであるEgoAdaptを紹介する。 EgoAdaptには3つの重要なモジュールが組み込まれている。(1)視覚話者目標認識(VSTR)モジュールは、音声特徴抽出のためのパラレル共有オーディオ(PSA)エンコーダである。 EgoAdaptは平均平均精度(mAP)67.39%、精度(Acc)62.01%を達成する。
論文参考訳（メタデータ） (2026-03-18T07:55:24Z)
Towards Seamless Interaction: Causal Turn-Level Modeling of Interactive 3D Conversational Head Dynamics [40.86039227407712]
本稿では,TIMAR(Turn-level Interleaved Masked AutoRegression)について述べる。各ターンにマルチモーダル情報を融合させ、会話履歴を蓄積するためにターンレベルの因果注意を適用する。 DualTalkベンチマークの実験では、TIMARはテストセット上でFréchet DistanceとMSEを15～30%削減している。
論文参考訳（メタデータ） (2025-12-17T11:37:35Z)
EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT [56.24624833924252]
EgoThinkerは、時間的連鎖管理と2段階の学習カリキュラムを通じて、堅牢なエゴセントリック推論能力を備えたMLを支援するフレームワークである。 EgoThinkerは、複数のエゴセントリックなベンチマークで既存のメソッドよりも優れており、微粒な時間的ローカライゼーションタスクで大幅に改善されている。
論文参考訳（メタデータ） (2025-10-27T17:38:17Z)
AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文参考訳（メタデータ） (2025-08-29T07:40:39Z)
SIV-Bench: A Video Benchmark for Social Interaction Understanding and Reasoning [53.16179295245888]
SIV-Benchは、SSU(Social Scene Understanding)、SSR(Social State Reasoning)、SDP(Social Dynamics Prediction)におけるMLLM(Multimodal Large Language Models)の機能を評価するための新しいビデオベンチマークである。 SIV-Benchは、2,792本のビデオクリップと8,792本の人間とLLMのコラボレーティブパイプラインから得られた精巧に生成された質問応答ペアを備えている。また、異なるテキストキュー固有のオンスクリーンテキスト、追加の対話、あるいはノーテキストの影響を分析するための専用の設定も含まれている。
論文参考訳（メタデータ） (2025-06-05T05:51:35Z)
PCIE_Interaction Solution for Ego4D Social Interaction Challenge [25.283193734091462]
本報告では,CVPR 2025におけるEgo4D Social Interaction Challengeに対するPCIE_Interactionソリューションについて述べる。課題は、被写体とカメラ装着者の社会的相互作用を正確に検出することである。 LAMおよびTTMチャレンジリーダーボード上で平均精度(mAP)を0.81と0.71と達成した。
論文参考訳（メタデータ） (2025-05-30T09:35:25Z)
Towards Online Multi-Modal Social Interaction Understanding [36.37278022436327]
本稿では,記録された対話やビデオストリームなどの履歴情報のみを用いて,MMSIタスクをモデルが解決しなければならないオンラインMMSI設定を提案する。マルチパーティ会話予測とソーシャル・アウェア・ビジュアル・プロンプトという2つの補完的戦略を活用する新しいフレームワークである Online-MMSI-VLM を開発した。提案手法は最先端の性能を達成し,ベースラインモデルを大幅に上回り,オンラインMMSIにおける有効性を示す。
論文参考訳（メタデータ） (2025-03-25T17:17:19Z)
UMETTS: A Unified Framework for Emotional Text-to-Speech Synthesis with Multimodal Prompts [64.02363948840333]
UMETTSは、複数のモーダルからの感情的手がかりを利用して、表現力が高く感情的に共鳴する音声を生成する新しいフレームワークである。 EP-Alignは対照的な学習を用いて、テキスト、オーディオ、視覚的モダリティをまたいだ感情的特徴を整合させ、マルチモーダル情報のコヒーレントな融合を保証する。 EMI-TTSは、アライメントされた感情埋め込みと最先端のTSモデルを統合し、意図した感情を正確に反映した音声を合成する。
論文参考訳（メタデータ） (2024-04-29T03:19:39Z)
A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文参考訳（メタデータ） (2023-02-08T17:34:32Z)
Face-to-Face Contrastive Learning for Social Intelligence Question-Answering [55.90243361923828]
マルチモーダル手法は多くのタスクで技術の状態を設定するが、複雑な対面会話のダイナミクスをモデル化することは困難である。社会的相互作用をモデル化するグラフニューラルネットワークF2F-CLを提案する。課題であるSocial-IQデータセットを実験的に評価し、最先端の結果を示す。
論文参考訳（メタデータ） (2022-07-29T20:39:44Z)
M-MELD: A Multilingual Multi-Party Dataset for Emotion Recognition in Conversations [42.512843360461886]
会話における感情認識(英: Emotion Recognition in conversation、ERC)は、会話における各発話の背後にある感情を識別する研究分野である。我々は、Multilingual MELD(M-MELD)を紹介し、Multimodal EmotionLinesデータセット(MELD)を英語以外の4言語に拡張する。また,ERCのための対話対話において,逐次的・対話的な会話コンテキストを利用する新しいアーキテクチャであるDisdisLSTMを提案する。
論文参考訳（メタデータ） (2022-03-31T05:07:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。