Fugu-MT 論文翻訳(概要): Continuous Audio Thinking for Large Audio Language Models

論文の概要: Continuous Audio Thinking for Large Audio Language Models

arxiv url: http://arxiv.org/abs/2606.18273v1
Date: Fri, 05 Jun 2026 11:38:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-21 20:00:42.795299
Title: Continuous Audio Thinking for Large Audio Language Models
Title（参考訳）: 大規模音声言語モデルのための連続音声思考
Abstract要約: 応答生成に先立って音響情報を整理するための連続的な潜時ワークスペースを備えた音声モデルを実現するために,Continuous Audio Thinking (CoAT)を導入した。思考空間内では、モデルはその応答を生成する際に専門家の蒸留によって提供される豊かな音響情報を利用することができる。 CoATは、ベースラインに対する追加の自己回帰復号化コストを必要としない。
参考スコア（独自算出の注目度）: 16.335310406868217
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large audio language models (LALMs) have shown impressive capabilities on diverse audio understanding tasks, ranging from speech transcription to music analysis. However, because LALMs are typically trained to produce text-aligned responses, their hidden states are progressively shaped for text generation rather than for preserving acoustic information. As a result, the diverse acoustic content that audio carries, such as phonetic detail, prosody, sound events, affect, and pitch, is lost along the way and difficult to leverage in the response. We introduce Continuous Audio Thinking (CoAT), a framework that equips audio language models with a continuous latent workspace for organizing acoustic information prior to response generation, grounded by distillation from audio experts. Within the thinking space, the model can utilize the rich acoustic information provided by expert distillation when generating its response. Furthermore, the proposed continuous thinking block can be processed in a single prefill, so CoAT does not require additional autoregressive decoding cost over the baseline. Across three LALMs, Qwen2-Audio, Qwen2.5-Omni-7B, and Audio Flamingo~3, performance gains on a broad benchmark suite spanning audio reasoning, audio understanding, music classification, speech emotion, and speech transcription demonstrate the effectiveness of CoAT. Further analysis confirms that the auxiliary supervision propagates from the thinking positions to the model's textual responses.
Abstract（参考訳）: 大規模な音声言語モデル(LALM)は、音声の書き起こしから音楽分析まで、様々な音声理解タスクにおいて印象的な機能を示している。しかし、LALMは通常、テキスト整列応答を生成するために訓練されているため、その隠れた状態は、音響情報の保存ではなく、テキスト生成のために徐々に形作られていく。その結果、音声が伝達する多様な音響コンテンツ、例えば、音のディテール、韻律、音のイベント、影響、ピッチは、途中で失われ、応答の活用が困難になる。本研究では,音声専門家の蒸留を基礎として,応答生成に先立って音響情報を整理するための連続的な潜時ワークスペースを音響モデルに組み込むフレームワークであるContinuous Audio Thinking (CoAT)を紹介する。思考空間内では、その応答を生成する際に専門家の蒸留によって提供される豊かな音響情報を利用することができる。さらに、提案した連続的思考ブロックは1つのプリフィルで処理できるため、CoATはベースラインに追加の自己回帰復号コストを必要としない。 3つのLALM、Qwen2-Audio、Qwen2.5-Omni-7B、Audio Flamingo~3では、音声推論、音声理解、音楽分類、音声感情、音声の書き起こしがCoATの有効性を示している。さらなる分析により、補助的な監督が思考位置からモデルのテキスト応答へと伝播することを確認する。

関連論文リスト

FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation [46.93738546805678]
統一音声モデルは、音声合成と編集をサポートしながら、言語、パラ言語、環境情報を認識し、理解する必要がある。 9BパラメータLLMを共用した汎用オーディオ言語モデルFireRedAudioを紹介する。 FireRedAudioは、音声理解と多言語ASRにおける競合的ないし先進的なパフォーマンス、ゼロショットTSにおける強いコンテンツ精度と話者タイムスタンプの保存、Ming-UniAudio-Editに対する大幅な改善を実現している。
論文参考訳（メタデータ） (2026-08-25T07:37:15Z)
AudioDER: A Deduplication-Enhanced Reasoning Dataset for Post-Training Large Audio-Language Models [42.62457130960257]
LALM(Large Audio-Language Models)は、幅広い音声理解タスクにおいて強力なパフォーマンスを示しているが、複雑な音声推論に苦戦している。既存のオーディオ言語データセットは、多くのサンプルが音響内容に非常によく似ている、かなりの冗長性を含んでいることが多い。 LALMのための推論指向の監視を構築するための冗長性を考慮したデータ構築パイプラインを提案する。
論文参考訳（メタデータ） (2026-06-12T16:09:49Z)
AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-05-14T00:56:51Z)
Echo: Towards Advanced Audio Comprehension via Audio-Interleaved Reasoning [39.264735719707154]
現在の取り組みは、ワンタイムエンコーディングを通じて音声コンテンツを文脈化することで、テキストベースの推論を再現している。本稿では,このボトルネックを突破するための音声インターリーブ推論を提案する。本稿では,要求時に音声に動的に再登録できるLALMのEchoについて述べる。
論文参考訳（メタデータ） (2026-02-12T13:06:34Z)
Beyond Transcripts: A Renewed Perspective on Audio Chaptering [66.61445564139052]
音声のみのアーキテクチャ(AudioSeg)は,長文音声をコヒーレントなセクションに分割するためのテキストベースのアプローチよりも優れていることを示す。 YTSegの実験では、AudioSegはテキストベースのアプローチを著しく上回り、停止は最大の音響的利得をもたらし、MLLMは文脈長と弱命令によって制限される。
論文参考訳（メタデータ） (2026-02-09T18:28:10Z)
ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing [47.14083940177122]
ThinkSoundは、ビデオの段階的にインタラクティブなオーディオ生成と編集を可能にする新しいフレームワークである。提案手法は,3つの相補的な段階 – セマンティック・コヒーレント,インタラクティブなオブジェクト中心の改良,ターゲット編集 – に分解する。実験により、ThinkSoundはオーディオメトリクスとCoTメトリクスの両方で、ビデオからオーディオ生成における最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-06-26T16:32:06Z)
From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
論文参考訳（メタデータ） (2025-05-26T16:08:41Z)
ADIFF: Explaining audio difference using natural language [31.963783032080993]
本稿では,音声の違いを説明するタスクを包括的に研究し,そのタスクのベースラインであるベンチマークを提案する。本稿では,AudioCaps と Clotho の音声キャプションデータセットから得られた音声差分説明のための2つの新しいデータセットを提案する。提案するADIFFは, クロスプロジェクションモジュール, 位置キャプション, 3段階のトレーニングプロセスを導入し, 詳細な説明を行う能力を向上させる。
論文参考訳（メタデータ） (2025-02-06T20:00:43Z)
Enhancing Temporal Understanding in Audio Question Answering for Large Audio Language Models [0.9285295512807729]
AQA(Audio Question Answering)タスクには、オーディオイベント分類、オーディオキャプション、オープンエンド推論が含まれる。 LALMは一般的な音声理解では優れているが、時間的推論では限られている。本稿では,音声時間的推論におけるこれらの課題と限界について述べる。
論文参考訳（メタデータ） (2024-09-10T05:26:53Z)
Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
論文参考訳（メタデータ） (2024-04-15T17:31:22Z)
Separate Anything You Describe [53.30484933564858]
言語クエリオーディオソース分離(LASS)は,CASA(Computer auditory scene analysis)の新しいパラダイムである AudioSepは、自然言語クエリによるオープンドメインオーディオソース分離の基礎モデルである。
論文参考訳（メタデータ） (2023-08-09T16:09:44Z)
AudioLM: a Language Modeling Approach to Audio Generation [59.19364975706805]
本稿では,長期的整合性を有する高品質オーディオ生成フレームワークであるAudioLMを紹介する。本稿では,既存の音声トークンが,再建品質と長期構造との間に異なるトレードオフをもたらすことを示す。我々は,コヒーレントピアノ音楽の継続を生成することによって,我々のアプローチが音声を超えてどのように拡張されるかを実証する。
論文参考訳（メタデータ） (2022-09-07T13:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。