論文の概要: RAG-Audio: Retrieval-Augmented Generation for Faithful Brain-to-Audio Reconstruction

• arxiv url: http://arxiv.org/abs/2608.09331v1
• Date: Mon, 10 Aug 2026 09:10:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.177221
• Title: RAG-Audio: Retrieval-Augmented Generation for Faithful Brain-to-Audio Reconstruction
• Title（参考訳）: RAG-Audio : 忠実脳-Audio再建のための検索・拡張ジェネレーション
• Abstract要約: RAG-Audioを導入し、fMRIを意味的オーディオ埋め込みにデコードする。 一致するリアルタイムの例題を検索し、その例題から冷凍発電機のサンプリング軌跡を初期化する。 Brain2Musicでは、RAG-Audioは直接生成のための0.14$--0.18$から10方向刺激識別を改善している。 また、フレシェ・オーディオ・ディスタンス(Fréchet Audio Distance)を約1桁削減する。
• 参考スコア（独自算出の注目度）: 6.071121358322323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain-to-audio reconstruction is limited by \emph{prior domination}: when a pretrained generator is conditioned on a weak neural signal, it produces realistic but stimulus-inaccurate audio. We introduce RAG-Audio, which decodes fMRI into a semantic audio embedding, retrieves a matching real-audio exemplar, and initializes the frozen generator's sampling trajectory from that exemplar while retaining the decoded embedding as conditioning. On Brain2Music, RAG-Audio improves 10-way stimulus identification from $0.14$--$0.18$ for direct generation, near the $0.10$ chance level, to $0.40$--$0.43$, comparable to retrieval. It also reduces Fréchet Audio Distance by roughly an order of magnitude, from $13.49$ to $1.25$ for AudioLDM. RAG-Audio approaches nearest-neighbor retrieval in identification while remaining generative; its higher FAD is expected because retrieval directly replays real audio. An autoregressive negative control, which lacks an initializable latent trajectory, shows no comparable gain, attributing the improvement to trajectory initialization. These results suggest that retrieval-guided initialization can mitigate prior domination in brain-to-audio generation.
• Abstract（参考訳）: 事前訓練された発電機が弱い神経信号で条件付けされた場合、それは現実的だが刺激不正確な音声を生成する。 本稿では,fMRIをセマンティックなオーディオ埋め込みにデコードしたRAG-Audioについて紹介する。 Brain2Musicでは、RAG-Audioは10方向刺激の識別を0.14$--0.18$で直接生成し、0.10$の確率レベル近くから0.40$--0.43$まで改善し、検索に匹敵する。 また、フレシェ・オーディオ・ディスタンス(Fréchet Audio Distance)を13.49ドルから1.25ドルに縮小する。 RAG-Audioは、生成を継続しながら識別において最寄りの検索に近づき、検索が実際のオーディオを直接再生するため、高いFADが期待できる。 自己回帰的負の制御は、初期化可能な潜在軌道を欠いているが、同等の利得は示さず、トラジェクトリ初期化の改善に寄与する。 以上の結果から,検索誘導初期化は脳とオーディオ生成の先行支配を緩和する可能性が示唆された。

関連論文リスト

• A Neuromorphic Trigger for Efficient Audio Event Detection [0.17646262965516948]
  本稿では、下流モデルへの入力を選択的にゲートするスパイキングニューラルネットワーク(SNN)に基づく、音声イベント検出のためのニューロモルフィックトリガを提案する。 提案したニューロモルフィックトリガーは、柔軟な低コストのフロントエンドとして機能し、健全な音声セグメントを特定し、これらを分類などのタスクのより計算集約的なモデルで処理できるようにする。
  論文  参考訳（メタデータ） (2026-06-16T10:48:32Z)
• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• Killing two birds with one stone: Can an audio captioning system also be used for audio-text retrieval? [0.0]
  本研究は、音声テキスト検索(ATR)とAAC(Automated Audio Captioning)の関係について検討する。 ATRでは、任意のオーディオ/カプセル対に対して得られた標準のクロスエントロピー損失値を用いる。 ClothoとAudioCapsのデータセットの実験結果は、この単純なアプローチによる適切なリコール値を示している。
  論文  参考訳（メタデータ） (2023-08-29T07:53:17Z)
• Leveraging Pre-trained AudioLDM for Sound Generation: A Benchmark Study [33.10311742703679]
  本稿では,AudioLDMを用いた音声生成における事前学習のメリットについて検討する。 本研究では,事前学習したAudioLDMの利点,特にデータ共有シナリオの利点を実証する。 様々な頻繁に使用されるデータセットに対して,音生成タスクをベンチマークする。
  論文  参考訳（メタデータ） (2023-03-07T12:49:45Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)
• Blind Restoration of Real-World Audio by 1D Operational GANs [18.462912387382346]
  Op-GAN(Operational Generative Adversarial Networks)による実世界の音声信号のブラインド復元手法を提案する。 提案手法はTIMIT-RAR(音声)とGTZAN-RAR(非音声)のベンチマークで広く評価されている。 平均SDRの改善は7.2dB以上と4.9dB以上である。
  論文  参考訳（メタデータ） (2022-12-30T10:11:57Z)
• BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
  自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。 本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。 最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。 そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
  論文  参考訳（メタデータ） (2022-12-18T10:41:55Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• A Conformer Based Acoustic Model for Robust Automatic Speech Recognition [63.242128956046024]
  提案手法は,二方向長短期記憶(BLSTM)モデルと発話ワイドドロップアウトと反復話者適応を用いて,最先端の音声認識システムを構築した。 コンフォーマーエンコーダは、音響モデリングに畳み込み強化されたアテンションメカニズムを使用する。 提案システムはCHiME-4コーパスの単調なASRタスクに基づいて評価される。
  論文  参考訳（メタデータ） (2022-03-01T20:17:31Z)
• Psychoacoustic Calibration of Loss Functions for Efficient End-to-End Neural Audio Coding [30.307627653506756]
  ニューラルオーディオ符号化システムの損失関数を再定義するための心理音響校正方式を提案する。 提案手法では、わずか0.9万パラメータの軽量ニューラルネットワークが、商用mpeg-1オーディオ層iiiに匹敵するほぼ透過的なオーディオ符号化を112kbpsで実行する。
  論文  参考訳（メタデータ） (2020-12-31T19:46:46Z)
• Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning [14.60531205031547]
  セグメントレベルの探索目的から導出するコントラスト学習フレームワークを提案する。 従来の音声フィンガープリントシステムが故障したセグメントレベルの検索タスクでは,10倍小さいストレージを用いたシステムが有望な結果を示した。
  論文  参考訳（メタデータ） (2020-10-22T17:44:40Z)
• Latent Vector Recovery of Audio GANs [6.824692201913679]
  我々は、WaveGANによって合成された音声を、ほぼ同一の再構成性能で対応する潜在空間に投影するために、ディープ残差ニューラルネットワークアーキテクチャを訓練する。 合成音声の場合、基底真実と復元された潜在ベクトルとの間の平均正方形誤差(MSE)を最小化する。
  論文  参考訳（メタデータ） (2020-10-16T17:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。