論文の概要: Imagine to Hear: Auditory Knowledge Generation can be an Effective Assistant for Language Models

• arxiv url: http://arxiv.org/abs/2503.16853v1
• Date: Fri, 21 Mar 2025 04:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:46.352537
• Title: Imagine to Hear: Auditory Knowledge Generation can be an Effective Assistant for Language Models
• Title（参考訳）: 聴覚知識生成は言語モデルのための効果的なアシスタントになり得る
• Authors: Suho Yoo, Hyunjong Ok, Jaeho Lee,
• Abstract要約: 生成モデルを用いて聴覚知識を動的に生成する新しい手法であるImagine to Hearを提案する。 本フレームワークは、与えられたプロンプトから複数の音声関連テキストスパンを検出し、対応する聴覚知識を生成する。 実験の結果,外部データベースに頼らずにAuditoryBenchの最先端性能を実現することができた。
• 参考スコア（独自算出の注目度）: 11.136112399898481
• License:
• Abstract: Language models pretrained on text-only corpora often struggle with tasks that require auditory commonsense knowledge. Previous work addresses this problem by augmenting the language model to retrieve knowledge from external audio databases. This approach has several limitations, such as the potential lack of relevant audio in databases and the high costs associated with constructing and querying the databases. To address these issues, we propose Imagine to Hear, a novel approach that dynamically generates auditory knowledge using generative models. Our framework detects multiple audio-related textual spans from the given prompt and generates corresponding auditory knowledge. We develop several mechanisms to efficiently process multiple auditory knowledge, including a CLAP-based rejection sampler and a language-audio fusion module. Our experiments show that our method achieves state-of-the-art performance on AuditoryBench without relying on external databases, highlighting the effectiveness of our generation-based approach.
• Abstract（参考訳）: テキストのみのコーパスで事前訓練された言語モデルは、聴覚コモンセンスの知識を必要とするタスクに苦しむことが多い。 従来の研究は、言語モデルを拡張して外部オーディオデータベースから知識を取得することでこの問題に対処した。 このアプローチには、データベースに関連するオーディオの潜在的な欠如や、データベースの構築とクエリに関連する高コストなど、いくつかの制限がある。 これらの課題に対処するために、生成モデルを用いて聴覚知識を動的に生成する新しいアプローチであるImagine to Hearを提案する。 本フレームワークは、与えられたプロンプトから複数の音声関連テキストスパンを検出し、対応する聴覚知識を生成する。 CLAPをベースとしたリジェクションサンプリングや言語・オーディオ融合モジュールなど,複数の聴覚知識を効率的に処理する機構を開発した。 実験の結果,外部データベースに頼らずにAuditoryBench上での最先端性能を実現し,世代ベースアプローチの有効性を浮き彫りにした。

関連論文リスト

• Do Audio-Language Models Understand Linguistic Variations? [42.17718387132912]
  Open-vocabulary Audio Language Model (ALM)は、自然言語クエリを用いた音声テキスト検索の新しいパラダイムである。 本稿では,言語変化に対する音声表現を学習するための新しい,計算効率の高い手法であるRobostCLAPを提案する。
  論文  参考訳（メタデータ） (2024-10-21T20:55:33Z)
• Audio Captioning RAG via Generative Pair-to-Pair Retrieval with Refined Knowledge Base [0.0]
  Retrieval-Augmented Generation (RAG)は、知識ベースから音声テキストペアを検索し、クエリオーディオで拡張し、正確なテキスト応答を生成する。 生成したキャプションをテキストクエリとして使用して,関連する音声テキストペアを正確に検索する生成ペア対検索を提案する。 提案手法は,AudioCaps,Clotho,Auto-ACDといったベンチマークの最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-10-14T04:57:32Z)
• Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
  生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。 この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。 本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
  論文  参考訳（メタデータ） (2024-09-15T16:32:49Z)
• AudioBERT: Audio Knowledge Augmented Language Model [11.136112399898481]
  近年の研究では、テキストのみのデータセットで事前訓練された言語モデルには、基本的な視覚的知識が欠けていることが確認されている。 聴覚知識を評価するための2つの新しいタスクからなるAuditoryBenchというデータセットを構築した。 このベンチマークを用いて分析した結果,言語モデルにも聴覚的知識が不足していることが判明した。 本稿では,BERTの聴覚知識を検索ベースで拡張する新しい手法であるAudioBERTを提案する。
  論文  参考訳（メタデータ） (2024-09-12T16:36:39Z)
• Identifying Speakers in Dialogue Transcripts: A Text-based Approach Using Pretrained Language Models [83.7506131809624]
  本稿では,デジタルメディアアーカイブにおけるコンテンツアクセシビリティと検索可能性を高める重要な課題である,対話テキスト中の話者名を識別する手法を提案する。 本稿では,メディアサムコーパスから派生した大規模データセットについて述べる。 本稿では,話者名を正確に属性付けるために,対話中の文脈的手がかりを活用する,話者IDに適したトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-16T18:03:58Z)
• Multi-Modal Retrieval For Large Language Model Based Speech Recognition [15.494654232953678]
  我々は,kNN-LMとクロスアテンション手法の2つのアプローチによるマルチモーダル検索を提案する。 音声に基づくマルチモーダル検索はテキストベースの検索よりも優れていることを示す。 我々は,Spoken-Squad質問応答データセットを用いて,最先端の認識結果を得る。
  論文  参考訳（メタデータ） (2024-06-13T22:55:22Z)
• Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings [8.660203441911554]
  本稿では,音声データを利用した言語モデルの学習手法を提案する。 これにより、テスト時のオーディオ処理オーバーヘッドを回避しつつ、音声書き起こしを解析するための言語モデルが改善される。 本実験では, 従来の言語モデルに対して, 音声書き起こし解析のタスクにおいて一貫した改善が達成された。
  論文  参考訳（メタデータ） (2023-11-13T01:53:12Z)
• Search-Engine-augmented Dialogue Response Generation with Cheaply Supervised Query Production [98.98161995555485]
  応答生成のために,任意の検索エンジンから膨大な動的情報にアクセス可能な対話モデルを提案する。 コアモジュールとして、クエリプロデューサを使用して、対話コンテキストからクエリを生成して、検索エンジンと対話する。 R@1とR@5のレートを62.4%と74.8%で達成できることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-02-16T01:58:10Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters [52.725200145600624]
  軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。 実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2021-05-13T12:33:23Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。