論文の概要: AudioLens: Multi-Perspective Speech Clustering with Reasoning Audio-Language Models

• arxiv url: http://arxiv.org/abs/2608.25177v1
• Date: Tue, 25 Aug 2026 21:47:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.453471
• Title: AudioLens: Multi-Perspective Speech Clustering with Reasoning Audio-Language Models
• Title（参考訳）: AudioLens:マルチパースペクティブ音声クラスタリング
• Abstract要約: 本稿では,音声のマルチパースペクティブクラスタリングについて紹介する。 蒸留と選好最適化を訓練したエンドツーエンドの大規模音声言語モデルであるAudioLens-R1を提案する。 実験の結果、AudioLens-R1は全てのベースラインを一貫して上回り、全ARIを12.99ポイント、V測定を11.62ポイント改善した。
• 参考スコア（独自算出の注目度）: 20.334609978156475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio clustering is a fundamental task for organizing rapidly growing speech collections, supporting applications such as conversational analysis and speech-driven discovery. However, existing methods rely on fixed acoustic similarity metrics or ASR-based text pipelines, limiting their ability to reorganize the same audio collection under different user-specified perspectives, especially when clustering depends on both linguistic and paralinguistic cues. We introduce audio multi-perspective clustering, where a model directly partitions speech recordings according to a natural-language perspective while inferring both the number of clusters and their assignments. To study this setting, we construct AudioLens-Bench, a benchmark spanning multiple application domains and evaluating both in-perspective and cross-perspective generalization. We further propose AudioLens-R1, an end-to-end large audio-language model trained with reasoning distillation and preference optimization. Experiments show that AudioLens-R1 consistently outperforms all baselines, improving overall ARI by 12.99 points and V-measure by 11.62 points. These results demonstrate the promise of native audio-language models for flexible, perspective-conditioned structure discovery over speech collections.
• Abstract（参考訳）: 音声クラスタリングは、急速に成長する音声収集を整理するための基本的なタスクであり、会話分析や音声による発見などのアプリケーションをサポートする。 しかし、既存の手法は固定音響類似度測定やASRベースのテキストパイプラインに依存しており、特にクラスタリングが言語とパラ言語の両方に依存している場合、ユーザによって異なる視点で同じオーディオコレクションを再編成する能力を制限する。 本稿では,音声によるマルチパースペクティブクラスタリングを導入し,クラスタ数とその割り当てを推定しながら,自然言語の視点で直接音声記録を分割する手法を提案する。 本研究では,複数のアプリケーションドメインにまたがるベンチマークであるAudioLens-Benchを構築し,インパースペクティブとクロスパースペクティブの両方の一般化を評価する。 さらに,蒸留と選好最適化を訓練したエンドツーエンドの大規模音声言語モデルであるAudioLens-R1を提案する。 実験の結果、AudioLens-R1は全てのベースラインを一貫して上回り、全ARIを12.99ポイント、V測定を11.62ポイント改善した。 これらの結果から,音声収集におけるフレキシブルな視点条件付き構造探索のためのネイティブ音声言語モデルの実現が示唆された。

関連論文リスト

• INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval [53.79335341504602]
  INSPIREは命令対応音声検索のための最初のベンチマークである。 我々は,大規模音声言語モデル,ケースドパイプライン,自己教師型音声モデル,コントラスト型音声言語モデルという4つの検索パラダイムを評価する。
  論文  参考訳（メタデータ） (2026-08-17T07:35:18Z)
• Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens [62.56027815951259]
  現在のオーディオ言語モデルは、主にテキストファーストであり、事前訓練されたテキストLLMバックボーンを拡張するか、意味のみのオーディオトークンに依存する。 本稿では,大規模音声に次トーケン予測を適用したネイティブオーディオ基礎モデルの系統的研究を行った。
  論文  参考訳（メタデータ） (2026-02-18T18:32:46Z)
• SAM Audio: Segment Anything in Audio [55.50609519820557]
  一般的なオーディオソース分離は、マルチモーダルAIシステムにとって重要な機能である。 本稿では,一般的な音声分離のための基礎モデルであるSAM Audioを紹介する。 テキスト、ビジュアル、タイムスパンを単一のフレームワーク内で統合する。
  論文  参考訳（メタデータ） (2025-12-19T22:14:23Z)
• CUPE: Contextless Universal Phoneme Encoder for Language-Agnostic Speech Processing [5.466034990848432]
  CUPEは120ミリ秒でキー音素の機能をキャプチャする軽量モデルである。 CUPEは、すべての言語に共通する基本音響パターンを学習することで、競合する言語間性能を実現する。
  論文  参考訳（メタデータ） (2025-08-21T07:27:10Z)
• USAD: Universal Speech and Audio Representation via Distillation [56.91647396619358]
  Universal Speech and Audio Distillation (USAD)は、音声表現学習における統一的なアプローチである。 USADは音声、音声、音楽の様々なタイプを単一のモデルに統合する。
  論文  参考訳（メタデータ） (2025-06-23T17:02:00Z)
• Classification of Spontaneous and Scripted Speech for Multilingual Audio [9.925703861731506]
  発話スタイルが音声処理研究にどのように影響するかをよりよく理解するためには,自発音声からスクリプトを識別することが不可欠である。 本稿では,様々な形式や言語にまたがってよく一般化された分類器を構築することの課題に対処する。 従来型,手作り音響,韻律的特徴から高度なオーディオトランスフォーマーまで,様々なモデルを体系的に評価する。
  論文  参考訳（メタデータ） (2024-12-16T15:45:10Z)
• Late fusion ensembles for speech recognition on diverse input audio representations [0.0]
  音声音声の多種多様な表現について検討し、E-Branchformerモデルの後期融合アンサンブルの性能に与える影響について検討する。 我々は、同等のテクニックでトレーニングされた最先端のモデルに対して、1%から14%$の改善が依然として達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-12-01T10:19:24Z)
• Do Audio-Language Models Understand Linguistic Variations? [42.17718387132912]
  Open-vocabulary Audio Language Model (ALM)は、自然言語クエリを用いた音声テキスト検索の新しいパラダイムである。 本稿では,言語変化に対する音声表現を学習するための新しい,計算効率の高い手法であるRobostCLAPを提案する。
  論文  参考訳（メタデータ） (2024-10-21T20:55:33Z)
• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• Continual Learning for On-Device Speech Recognition using Disentangled Conformers [54.32320258055716]
  本稿では,LibriVoxオーディオブックから派生した話者固有領域適応のための連続学習ベンチマークを提案する。 本稿では,DistangledCLと呼ばれる計算効率のよい連続学習アルゴリズムを提案する。 実験の結果, DisConformer モデルは一般的な ASR のベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-02T18:58:51Z)
• Joint Speech Recognition and Audio Captioning [37.205642807313545]
  室内と屋外の両方で録音された音声サンプルは、しばしば二次音源で汚染される。 自動音声キャプション(AAC)の進展する分野と、徹底的に研究された自動音声認識(ASR)を一体化することを目的としている。 本稿では,ASRタスクとAACタスクのエンドツーエンド共同モデリングのためのいくつかのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-03T04:42:43Z)
• Unsupervised Cross-Modal Audio Representation Learning from Unstructured Multilingual Text [69.55642178336953]
  教師なし音声表現学習へのアプローチを提案する。 3重項ニューラルネットワークアーキテクチャに基づいて、意味論的に関連付けられたクロスモーダル情報を用いて、音声トラック関連性を推定する。 我々のアプローチは、様々なアノテーションスタイルと、このコレクションの異なる言語に不変であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T07:37:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。