論文の概要: Hello-Chat: Towards Realistic Social Audio Interactions

• arxiv url: http://arxiv.org/abs/2602.23387v1
• Date: Mon, 16 Feb 2026 01:41:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.947758
• Title: Hello-Chat: Towards Realistic Social Audio Interactions
• Title（参考訳）: Hello-Chat: 現実的なソーシャルオーディオインタラクションを目指して
• Abstract要約: Hello-Chatは、現実的な社会的シナリオのために設計されたエンドツーエンドのオーディオ言語モデルである。 Hello-Chatは、実生活における会話の膨大なデータセットを活用することで、人為的生成のブレークスルーを達成する。
• 参考スコア（独自算出の注目度）: 13.795665226683973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Large Audio Language Models (LALMs) have demonstrated exceptional performance in speech recognition and translation. However, existing models often suffer from a disconnect between perception and expression, resulting in a robotic "read-speech" style that lacks the spontaneity and emotional resonance of real human interaction. In this report, we introduce Hello-Chat, an end-to-end audio language model designed for realistic social scenarios. By leveraging a massive dataset of real-life conversations and employing a modality-interleaved training strategy, Hello-Chat achieves a breakthrough in anthropomorphic generation. Experimental results show that our model not only reaches state-of-the-art (SOTA) performance on specific audio understanding tasks but also significantly outperforms existing baselines in prosodic naturalness and emotional alignment, paving the way for the next generation of empathetic AI agents.
• Abstract（参考訳）: 近年のLarge Audio Language Models (LALM) の進歩は音声認識や翻訳において例外的な性能を示した。 しかし、既存のモデルは知覚と表現の切り離しに悩まされることが多く、実際の人間の相互作用の自発性や感情的共鳴を欠くロボットの「読み上げ」スタイルが生まれる。 本稿では,現実的な社会シナリオを対象としたエンドツーエンド音声言語モデルであるHello-Chatを紹介する。 現実の会話の膨大なデータセットを活用し、モダリティ・インターリーブド・トレーニング戦略を採用することで、Hello-Chatは人為的生成のブレークスルーを達成する。 実験の結果、我々のモデルは特定の音声理解タスクにおける最先端(SOTA)のパフォーマンスに到達するだけでなく、韻律的自然性や感情的アライメントにおいて既存のベースラインを著しく上回り、次世代の共感型AIエージェントへの道を開いた。

関連論文リスト

• Conversational Human Audio-visual Talking Dialogue Generation [50.95039085506777]
  対話型対話型対話フレームワークCHATを提案する。 Chatは大きな言語モデルと対話型音声および顔行動改善モジュールで会話型顔モデルを統合する。 実験の結果,CHATは主観的評価と主観的評価の両方において,類似タスク用に設計された既存の関連手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-07-02T22:17:55Z)
• Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels [26.18760496276335]
  対話型仮想エージェントを開発し、会話と聴取の両方に双方向の音声入力を同時に処理する。 我々の手法は文脈意味論と強い時間的アライメントを融合させ、非常に自然で応答性の高い対話型デジタル人間を生成するための新しい最先端技術を構築した。
  論文  参考訳（メタデータ） (2026-04-11T22:34:21Z)
• On the Emotion Understanding of Synthesized Speech [63.13411068766772]
  感情は音声対話における中核的なパラ言語的特徴である。 現在の音声感情認識(SER)モデルは、合成音声に一般化できない。 生成音声言語モデル(SLM)は、パラ言語的手がかりを無視しながら、テキスト意味論から感情を推測する傾向がある。
  論文  参考訳（メタデータ） (2026-03-17T13:11:14Z)
• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction [50.05919688888947]
  本稿では,感情的インテリジェンスのための統一言語モデルを提案する。 IEATは、ユーザーの感情状態とその根本原因をモデルの内部推論プロセスに組み込んでおり、明示的な監督として扱われるのではなく、感情を意識した推論を内部化することができる。 HumDial(Human-like Spoken Dialogue Systems Challenge)Emotional Intelligenceベンチマークの実験は、提案手法が感情軌道モデリング、感情的推論、共感的応答生成にまたがるトップランクのパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-01-08T14:07:30Z)
• OpenOmni: Advancing Open-Source Omnimodal Large Language Models with Progressive Multimodal Alignment and Real-Time Self-Aware Emotional Speech Synthesis [95.27191872116306]
  nameは、一様アライメントと音声生成を統合する2段階のトレーニングフレームワークである。 雑用、視覚言語、音声言語ベンチマークで最先端モデルを上回っている。 nameは、非自己回帰モードで1秒のレイテンシでリアルタイムの音声生成を実現する。
  論文  参考訳（メタデータ） (2025-01-08T15:18:09Z)
• Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
  yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。 本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:57:56Z)
• Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming [0.0]
  ミニオムニ(Mini-Omni)は、リアルタイム音声対話が可能な音声ベースのエンドツーエンド会話モデルである。 そこで本研究では,テキストによる音声生成手法と,推論中のバッチ並列戦略を併用して,性能を向上させる手法を提案する。 また、最適化音声出力のための微調整モデルにVoiceAssistant-400Kデータセットを導入する。
  論文  参考訳（メタデータ） (2024-08-29T17:18:53Z)
• Language Model Can Listen While Speaking [17.584201137311286]
  聴取時言語モデル (LSLM) は、聴取チャネルと発声チャネルの両方を備えたエンドツーエンドシステムである。 本研究は,既存のシステムに最小限の影響を伴って,重複通信を実現するLSLMの能力を強調した。
  論文  参考訳（メタデータ） (2024-08-05T16:47:22Z)
• Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
  ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。 私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。 実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-14T03:21:33Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。