論文の概要: Communicating Sound Through Natural Language

• arxiv url: http://arxiv.org/abs/2605.08750v1
• Date: Sat, 09 May 2026 07:25:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.859222
• Title: Communicating Sound Through Natural Language
• Title（参考訳）: 自然言語による音のコミュニケーション
• Abstract要約: 本稿では,LLM送信機と受信機が自然言語で音声を伝達するフレームワークであるLexical Acoustic coding (LAC)を紹介する。 固定されたシステムプロンプトの下で、エージェントは独自の分析および合成コードを書き、語彙文を通してのみ通信する。 我々はLACを有限レートの損失量子化器とみなし、語彙サイズ、レート、忠実さのトレードオフを露呈する。
• 参考スコア（独自算出の注目度）: 20.119057003948004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language is widely used to describe, prompt, and control audio systems, but rarely serves as the representation carrying audio itself. We introduce lexical acoustic coding (LAC), a framework in which pre-trained LLM sender and receiver agents transmit sound through natural language. Under fixed system prompts, the agents write their own analysis and synthesis code, communicating only through a lexical sentence, shared vocabulary, and optional symbolic music structure. The sender analyzes an input waveform into interpretable, non-learned acoustic descriptors, quantizes each with a feature-specific interval vocabulary, and verbalizes the lexical code as English. The receiver parses the sentence back into lexical-acoustic constraints and renders a waveform through closed-loop refinement. The transmitted text serves as both a rich caption and as the transport representation itself. We frame LAC as a finite-rate lossy quantizer, exposing trade-offs between vocabulary size, rate, and fidelity. Experiments on short sounds and symbolic music transfer show that plain text preserves measurable acoustic structure while remaining interpretable, editable, and native to LLM-mediated communication.
• Abstract（参考訳）: 自然言語は音声システムの記述、プロンプト、制御に広く用いられているが、音声自体を伝達する表現として機能することは滅多にない。 本稿では,LLM送信機と受信機が自然言語で音声を伝達するフレームワークであるLexical Acoustic coding (LAC)を紹介する。 固定されたシステムプロンプトの下で、エージェントは独自の分析および合成コードを書き、語彙文、共有語彙、任意の記号音楽構造を通してのみ通信する。 送信者は、入力波形を解釈可能な非学習音響記述子に解析し、特徴特定間隔語彙でそれぞれを定量化し、語彙コードを英語として動詞化する。 受信機は文を語彙-音響制約に解析し、クローズドループ精製により波形を描画する。 送信されたテキストは、リッチキャプションとトランスポート表現自体として機能する。 我々はLACを有限レートの損失量子化器とみなし、語彙サイズ、レート、忠実さのトレードオフを露呈する。 短い音とシンボリック・ミュージック・トランスファーの実験では、平易なテキストは可読性、編集性、LLM経由の通信を保ちながら測定可能な音響構造を保っていることが示された。

関連論文リスト

• Unified Audio Intelligence Without Regressing on Text Intelligence [86.55418188552768]
  我々は,統一音声テキストLLMであるNemotron-Labs-Audex-30B-A3B(Audex)を紹介する。 Audexは単一のTransformerデコーダで単純な統一設計を採用する。 Audexは最先端の音声理解、音声認識と翻訳、テキスト音声合成、音声生成、音声音声生成を提供する。
  論文  参考訳（メタデータ） (2026-07-06T15:11:57Z)
• Libretto: Giving LLM Agents a Sense of Musical Structure [4.144744763257738]
  シンボリック音楽生成とリビジョンのためのフレームワークであるLibrettoを紹介する。 リブレットは、リズム、ハーモニー、メロディ、テクスチャ、フォーム、変奏に関するコーパス校正された統計空間で各曲を評価する。 ギャップフィリング、参照誘導フルピース生成、漸進的なモーフィング、教育音楽生成など、Librettoは、シンボル音楽を生のトークンシーケンスから言語モデルエージェントの計測可能で編集可能なオブジェクトに変換する。
  論文  参考訳（メタデータ） (2026-06-21T22:56:07Z)
• Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts [20.986457042343684]
  フリーフォームテキスト・プロンプト・トゥ・ユニファイド・オーディオ・ジェネレーションという新しいタスクを導入する。 PlanAudioは統合された自己回帰型LLMベースのフレームワークである。 音声・音響・合成のシナリオで評価を行う。
  論文  参考訳（メタデータ） (2026-05-27T07:15:35Z)
• Beyond Transcripts: A Renewed Perspective on Audio Chaptering [66.61445564139052]
  音声のみのアーキテクチャ(AudioSeg)は,長文音声をコヒーレントなセクションに分割するためのテキストベースのアプローチよりも優れていることを示す。 YTSegの実験では、AudioSegはテキストベースのアプローチを著しく上回り、停止は最大の音響的利得をもたらし、MLLMは文脈長と弱命令によって制限される。
  論文  参考訳（メタデータ） (2026-02-09T18:28:10Z)
• Do Joint Language-Audio Embeddings Encode Perceptual Timbre Semantics? [10.420650470020844]
  音節の知覚的次元を捉える能力に基づいて,上述の3つの共同言語-オーディオ埋め込みモデルを評価した。 以上の結果から,LAION-CLAPは,楽器音と音響効果の両面において,人間の知覚した音色セマンティクスと最も信頼性の高いアライメントを提供することが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-16T03:01:41Z)
• SeeingSounds: Learning Audio-to-Visual Alignment via Text [15.011814561603964]
  本稿では,音声,言語,視覚の相互作用を利用した画像生成のためのフレームワークであるSeeingSoundsを紹介する。 音声は凍結言語エンコーダを介して意味言語空間に投影され、視覚言語モデルを用いて文脈的に視覚領域に基底される。 このアプローチは認知神経科学にインスパイアされ、人間の知覚で観察される自然な相互関連を反映している。
  論文  参考訳（メタデータ） (2025-10-10T18:42:50Z)
• Text-Queried Audio Source Separation via Hierarchical Modeling [53.94434504259829]
  本研究では,HSM-TSSという階層的分解フレームワークを提案し,そのタスクをグローバルな意味誘導特徴分離と構造保存音響再構成に分解する。 Q-Audioアーキテクチャは、事前訓練されたグローバルセマンティックエンコーダとして機能するオーディオとテキストのモダリティを調整するために使用される。 本手法は,複雑な聴覚シーンにおけるクエリとのセマンティック一貫性を保ちながら,データ効率のトレーニングによる最先端の分離性能を実現する。
  論文  参考訳（メタデータ） (2025-05-27T11:00:38Z)
• Steganography Beyond Space-Time with Chain of Multimodal AI [8.095373104009868]
  ステガノグラフィー(英: Steganography)は、隠蔽文学の芸術と科学である。 人工知能が進化を続けるにつれて、現実的なコンテンツを合成する能力は、サイバー犯罪の脅威として現れます。 本研究は,空間的・時間的領域を超えてメッセージが隠蔽される聴覚メディアのためのステガノグラフィーのパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-02-25T15:56:09Z)
• ISPA: Inter-Species Phonetic Alphabet for Transcribing Animal Sounds [6.751004034983776]
  動物音をテキストに変換するための正確で簡潔かつ解釈可能なシステムISPA(Inter-Species Phonetic Alphabet)を紹介する。 我々は,言語モデルのような,確立された言語MLパラダイムやモデルが,性能向上のためにうまく適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-05T18:27:27Z)
• LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT [65.69648099999439]
  Generative Pre-trained Transformer (GPT) モデルは、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。 音声認識, 理解, 生成のための新しい音声・テキストGPTベースのLLMであるLauraGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T03:17:59Z)
• On decoder-only architecture for speech-to-text and large language model integration [59.49886892602309]
  Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。 我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-07-08T06:47:58Z)
• A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
  既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。 自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。 実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-11-12T00:54:09Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。