論文の概要: Learning Marmoset Vocal Patterns with a Masked Autoencoder for Robust Call Segmentation, Classification, and Caller Identification

• arxiv url: http://arxiv.org/abs/2410.23279v4
• Date: Tue, 12 Aug 2025 08:16:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 14:32:15.876597
• Title: Learning Marmoset Vocal Patterns with a Masked Autoencoder for Robust Call Segmentation, Classification, and Caller Identification
• Title（参考訳）: ロバストコールセグメンテーション, 分類, 発信者識別のためのマスクオートエンコーダを用いたマルコセット音声パターンの学習
• Authors: Bin Wu, Shinnosuke Takamichi, Sakriani Sakti, Satoshi Nakamura,
• Abstract要約: マーモセットの発声は、構造が小さく、高度に変動し、ノイズの多い低リソース条件で記録される。 従来のCNNは局所的なパターンを扱うが、長距離時間構造に苦しむ。 グローバルな依存関係に対して自己アテンションを用いてトランスフォーマーを適用した。 私たちはMAEでトランスフォーマーを事前訓練します -- 何百時間もの無注釈のマーモセット記録から、マスクされたセグメントを再構築する自己教師型の方法です。
• 参考スコア（独自算出の注目度）: 26.58036918301359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The marmoset, a highly vocal primate, is a key model for studying social-communicative behavior. Unlike human speech, marmoset vocalizations are less structured, highly variable, and recorded in noisy, low-resource conditions. Learning marmoset communication requires joint call segmentation, classification, and caller identification -- challenging domain tasks. Previous CNNs handle local patterns but struggle with long-range temporal structure. We applied Transformers using self-attention for global dependencies. However, Transformers show overfitting and instability on small, noisy annotated datasets. To address this, we pretrain Transformers with MAE -- a self-supervised method reconstructing masked segments from hundreds of hours of unannotated marmoset recordings. The pretraining improved stability and generalization. Results show MAE-pretrained Transformers outperform CNNs, demonstrating modern self-supervised architectures effectively model low-resource non-human vocal communication.
• Abstract（参考訳）: 非常に声の強い霊長類であるマーモセットは、社会的コミュニケーション行動を研究するための重要なモデルである。 人間の音声とは異なり、マーモセットの発声は構造が小さく、高度に変動し、ノイズの多い低リソース条件で記録される。 マーモセット通信を学ぶには、共同呼び出しのセグメンテーション、分類、呼び出し者の識別が必要です。 従来のCNNは局所的なパターンを扱うが、長距離時間構造に苦しむ。 グローバルな依存関係に対して自己アテンションを用いてトランスフォーマーを適用した。 しかしTransformerは、小さな、ノイズの多い注釈付きデータセットに過度な適合と不安定性を示す。 この問題を解決するために、トランスフォーマーを事前訓練する。MAEは、何百時間もの無注釈のマーモセット記録からマスク付きセグメントを再構築する自己教師付き手法である。 事前訓練は安定性と一般化を改善した。 その結果、MAE-pretrained TransformerはCNNよりも優れており、近代的な自己教師型アーキテクチャが低リソースの音声通信を効果的にモデル化することを示した。

関連論文リスト

• Multi Modal Information Fusion of Acoustic and Linguistic Data for Decoding Dairy Cow Vocalizations in Animal Welfare Assessment [0.0]
  本研究では,マルチモーダルデータ融合技術を用いて乳牛の接触呼をデコードすることを目的とする。 本研究では,自然言語処理モデルを用いて,牛の発声音声の音声記録を書式に転写する。 発声は、苦痛や覚醒に関連する高頻度通話と、満足感や落ち着きに関連する低頻度通話に分類した。
  論文  参考訳（メタデータ） (2024-11-01T09:48:30Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• Feature Representations for Automatic Meerkat Vocalization Classification [15.642602544201308]
  本稿では,自動メエルカット発声解析のための特徴表現について検討する。 2つのデータセットを対象としたコールタイプ分類研究により、人間の音声処理のために開発された特徴抽出法が、自動メエルカット呼分析に効果的に活用できることが明らかになった。
  論文  参考訳（メタデータ） (2024-08-27T10:51:51Z)
• On the Utility of Speech and Audio Foundation Models for Marmoset Call Analysis [19.205671029694074]
  本研究は,4,8,16kHzの事前学習帯域において,音声領域と一般音声領域から派生した特徴表現をマーモセットコールタイプおよび発信者分類タスクに対して評価する。 その結果、より高い帯域幅を持つモデルでは性能が向上し、音声や一般音声での事前学習では同等の結果が得られ、スペクトルベースラインよりも改善されることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T12:00:44Z)
• FunAudioLLM: Voice Understanding and Generation Foundation Models for Natural Interaction Between Humans and LLMs [63.8261207950923]
  FunAudioLLMは、人間と大規模言語モデル(LLM)の間の自然な音声相互作用を強化するために設計されたモデルファミリーである 中心となる2つの革新的なモデルとして、多言語音声認識、感情認識、音声イベント検出を処理するSenseVoiceと、複数の言語、音色、話し方、話者識別を制御した自然言語生成を容易にするCosyVoiceがある。 SenseVoiceとCosyVoiceに関連するモデルは、GitHubでリリースされたトレーニング、推論、微調整コードとともに、ModelscopeとHuggingfaceでオープンソース化されている。
  論文  参考訳（メタデータ） (2024-07-04T16:49:02Z)
• Audio is all in one: speech-driven gesture synthetics using WavLM pre-trained model [2.827070255699381]
  diffmotion-v2は、WavLM事前学習モデルを用いた音声条件拡散に基づく生成モデルである。 生音声のみを使用して、個人的でスタイリングされたフルボディの音声合成ジェスチャを生成することができる。
  論文  参考訳（メタデータ） (2023-08-11T08:03:28Z)
• Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
  Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。 我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:59:26Z)
• Affective social anthropomorphic intelligent system [1.7849339006560665]
  本研究は、感情や性格と人間のような適切な会話をすることができる人間型知的システムを提案する。 特定の感情の属性をマッピングするために,音声スタイルの伝達法も提案されている。
  論文  参考訳（メタデータ） (2023-04-19T18:24:57Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。