論文の概要: Testing chatbots on the creation of encoders for audio conditioned image generation

• arxiv url: http://arxiv.org/abs/2509.09717v1
• Date: Tue, 09 Sep 2025 18:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.845846
• Title: Testing chatbots on the creation of encoders for audio conditioned image generation
• Title（参考訳）: 音声条件付き画像生成のためのエンコーダ作成のためのチャットボットのテスト
• Authors: Jorge E. León, Miguel Carrasco,
• Abstract要約: 現状の会話エージェントがCLIPテキストエンコーダを置き換える効果的なオーディオエンコーダを設計できるかどうかを検討する。 私たちは公開デモを作り、誰もがこのオーディオエンコーダを勉強して試せるようにしました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On one hand, recent advances in chatbots has led to a rising popularity in using these models for coding tasks. On the other hand, modern generative image models primarily rely on text encoders to translate semantic concepts into visual representations, even when there is clear evidence that audio can be employed as input as well. Given the previous, in this work, we explore whether state-of-the-art conversational agents can design effective audio encoders to replace the CLIP text encoder from Stable Diffusion 1.5, enabling image synthesis directly from sound. We prompted five publicly available chatbots to propose neural architectures to work as these audio encoders, with a set of well-explained shared conditions. Each valid suggested encoder was trained on over two million context related audio-image-text observations, and evaluated on held-out validation and test sets using various metrics, together with a qualitative analysis of their generated images. Although almost all chatbots generated valid model designs, none achieved satisfactory results, indicating that their audio embeddings failed to align reliably with those of the original text encoder. Among the proposals, the Gemini audio encoder showed the best quantitative metrics, while the Grok audio encoder produced more coherent images (particularly, when paired with the text encoder). Our findings reveal a shared architectural bias across chatbots and underscore the remaining coding gap that needs to be bridged in future versions of these models. We also created a public demo so everyone could study and try out these audio encoders. Finally, we propose research questions that should be tackled in the future, and encourage other researchers to perform more focused and highly specialized tasks like this one, so the respective chatbots cannot make use of well-known solutions and their creativity/reasoning is fully tested.
• Abstract（参考訳）: 一方、チャットボットの最近の進歩は、コーディングタスクにこれらのモデルを使用することで人気が高まっている。 一方、現代の生成画像モデルは、音声も入力として利用できるという明確な証拠がある場合でも、主にテキストエンコーダを用いて意味概念を視覚表現に変換する。 本研究は,従来の会話エージェントがCLIPテキストエンコーダをStable Diffusion 1.5から置き換えて,音声から直接画像合成できる効果的な音声エンコーダを設計できるかどうかを考察する。 私たちは5つの公開チャットボットに、これらのオーディオエンコーダとして機能するニューラルアーキテクチャを提案するように促しました。 それぞれの有効なエンコーダは、200万以上のコンテキスト関連オーディオ画像テキスト観測に基づいてトレーニングされ、様々なメトリクスを用いて保持された検証とテストセットに基づいて、生成された画像の定性解析とともに評価された。 ほぼ全てのチャットボットが有効なモデル設計を作成したが、満足のいく成果は得られず、彼らのオーディオ埋め込みが元のテキストエンコーダのものと確実に一致しなかったことを示している。 提案の中では、Geminiオーディオエンコーダが最高の測定値を示し、Grokオーディオエンコーダはよりコヒーレントな画像を生成する(特にテキストエンコーダとペアリングする場合)。 この結果から,チャットボット間のアーキテクチャバイアスの共有が明らかとなり,これらのモデルの将来バージョンにブリッジする必要があるコーディングギャップが強調された。 また、誰もがこのオーディオエンコーダを勉強して試せるよう、公開デモも作成しました。 最後に、将来に取り組むべき研究課題を提案し、他の研究者に、このようなより集中的で高度に専門的なタスクをするよう促すため、各チャットボットはよく知られたソリューションを利用できず、創造性と推論が完全にテストされる。

関連論文リスト

• FocalCodec: Low-Bitrate Speech Coding via Focal Modulation Networks [12.446324804274628]
  FocalCodecは、単一のバイナリコードブックを使って音声を圧縮する焦点変調に基づく効率的な低ビットレートである。 デモサンプル、コード、チェックポイントはhttps://lucadellalib.io/focalcodec-web/.com/で公開されている。
  論文  参考訳（メタデータ） (2025-02-06T19:24:50Z)
• LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT [65.69648099999439]
  Generative Pre-trained Transformer (GPT) モデルは、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。 音声認識, 理解, 生成のための新しい音声・テキストGPTベースのLLMであるLauraGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T03:17:59Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• Combining Automatic Speaker Verification and Prosody Analysis for Synthetic Speech Detection [15.884911752869437]
  本稿では,人間の声の2つの高レベルな意味的特性を組み合わせた合成音声検出手法を提案する。 一方, 話者識別手法に着目し, 自動話者検証タスクの最先端手法を用いて抽出した話者埋め込みとして表現する。 一方、リズム、ピッチ、アクセントの変化を意図した音声韻律は、特殊なエンコーダによって抽出される。
  論文  参考訳（メタデータ） (2022-10-31T11:03:03Z)
• Diffsound: Discrete Diffusion Model for Text-to-sound Generation [78.4128796899781]
  本稿では,テキストエンコーダ,ベクトル量子化変分自動符号化(VQ-VAE),デコーダ,ボコーダからなる新しいテキスト音声生成フレームワークを提案する。 フレームワークは、まず、デコーダを使用して、テキストエンコーダから抽出したテキスト特徴をVQ-VAEの助けを借りてメルスペクトルに転送し、次いで、ボコーダを使用して生成されたメルスペクトルを波形に変換する。
  論文  参考訳（メタデータ） (2022-07-20T15:41:47Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。