論文の概要: Hello-Chat: Towards Realistic Social Audio Interactions
- arxiv url: http://arxiv.org/abs/2602.23387v1
- Date: Mon, 16 Feb 2026 01:41:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 01:20:07.947758
- Title: Hello-Chat: Towards Realistic Social Audio Interactions
- Title（参考訳）: Hello-Chat: 現実的なソーシャルオーディオインタラクションを目指して
- Authors: Yueran Hou, Peilei Jia, Zihan Sun, Qihang Lu, Wenbing Yang, Yingming Gao, Ya Li, Jun Gao,
- Abstract要約: Hello-Chatは、現実的な社会的シナリオのために設計されたエンドツーエンドのオーディオ言語モデルである。
Hello-Chatは、実生活における会話の膨大なデータセットを活用することで、人為的生成のブレークスルーを達成する。
- 参考スコア（独自算出の注目度）: 13.795665226683973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in Large Audio Language Models (LALMs) have demonstrated exceptional performance in speech recognition and translation. However, existing models often suffer from a disconnect between perception and expression, resulting in a robotic "read-speech" style that lacks the spontaneity and emotional resonance of real human interaction. In this report, we introduce Hello-Chat, an end-to-end audio language model designed for realistic social scenarios. By leveraging a massive dataset of real-life conversations and employing a modality-interleaved training strategy, Hello-Chat achieves a breakthrough in anthropomorphic generation. Experimental results show that our model not only reaches state-of-the-art (SOTA) performance on specific audio understanding tasks but also significantly outperforms existing baselines in prosodic naturalness and emotional alignment, paving the way for the next generation of empathetic AI agents.
- Abstract（参考訳）: 近年のLarge Audio Language Models (LALM) の進歩は音声認識や翻訳において例外的な性能を示した。
しかし、既存のモデルは知覚と表現の切り離しに悩まされることが多く、実際の人間の相互作用の自発性や感情的共鳴を欠くロボットの「読み上げ」スタイルが生まれる。
本稿では,現実的な社会シナリオを対象としたエンドツーエンド音声言語モデルであるHello-Chatを紹介する。
現実の会話の膨大なデータセットを活用し、モダリティ・インターリーブド・トレーニング戦略を採用することで、Hello-Chatは人為的生成のブレークスルーを達成する。
実験の結果、我々のモデルは特定の音声理解タスクにおける最先端(SOTA)のパフォーマンスに到達するだけでなく、韻律的自然性や感情的アライメントにおいて既存のベースラインを著しく上回り、次世代の共感型AIエージェントへの道を開いた。
関連論文リスト
- Covo-Audio Technical Report [61.09708870154148]
7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。
対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
論文 参考訳（メタデータ） (2026-02-10T14:31:11Z) - A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction [50.05919688888947]
本稿では,感情的インテリジェンスのための統一言語モデルを提案する。
IEATは、ユーザーの感情状態とその根本原因をモデルの内部推論プロセスに組み込んでおり、明示的な監督として扱われるのではなく、感情を意識した推論を内部化することができる。
HumDial(Human-like Spoken Dialogue Systems Challenge)Emotional Intelligenceベンチマークの実験は、提案手法が感情軌道モデリング、感情的推論、共感的応答生成にまたがるトップランクのパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-01-08T14:07:30Z) - OpenOmni: Advancing Open-Source Omnimodal Large Language Models with Progressive Multimodal Alignment and Real-Time Self-Aware Emotional Speech Synthesis [95.27191872116306]
nameは、一様アライメントと音声生成を統合する2段階のトレーニングフレームワークである。
雑用、視覚言語、音声言語ベンチマークで最先端モデルを上回っている。
nameは、非自己回帰モードで1秒のレイテンシでリアルタイムの音声生成を実現する。
論文 参考訳（メタデータ） (2025-01-08T15:18:09Z) - Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。
本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T11:57:56Z) - Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming [0.0]
ミニオムニ(Mini-Omni)は、リアルタイム音声対話が可能な音声ベースのエンドツーエンド会話モデルである。
そこで本研究では,テキストによる音声生成手法と,推論中のバッチ並列戦略を併用して,性能を向上させる手法を提案する。
また、最適化音声出力のための微調整モデルにVoiceAssistant-400Kデータセットを導入する。
論文 参考訳（メタデータ） (2024-08-29T17:18:53Z) - EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional
Text-to-Speech Model [56.75775793011719]
音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。
入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。
実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
論文 参考訳（メタデータ） (2021-06-17T08:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。