Fugu-MT 論文翻訳(概要): AudioBERT: Audio Knowledge Augmented Language Model

論文の概要: AudioBERT: Audio Knowledge Augmented Language Model

arxiv url: http://arxiv.org/abs/2409.08199v1
Date: Thu, 12 Sep 2024 16:36:39 GMT
ステータス: 処理完了
システム内更新日: 2024-09-13 15:45:03.448430
Title: AudioBERT: Audio Knowledge Augmented Language Model
Title（参考訳）: AudioBERT: Augmented Language Model
Authors: Hyunjong Ok, Suho Yoo, Jaeho Lee,
Abstract要約: 近年の研究では、テキストのみのデータセットで事前訓練された言語モデルには、基本的な視覚的知識が欠けていることが確認されている。聴覚知識を評価するための2つの新しいタスクからなるAuditoryBenchというデータセットを構築した。このベンチマークを用いて分析した結果,言語モデルにも聴覚的知識が不足していることが判明した。本稿では,BERTの聴覚知識を検索ベースで拡張する新しい手法であるAudioBERTを提案する。
参考スコア（独自算出の注目度）: 11.136112399898481
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent studies have identified that language models, pretrained on text-only datasets, often lack elementary visual knowledge, \textit{e.g.,} colors of everyday objects. Motivated by this observation, we ask whether a similar shortcoming exists in terms of the \textit{auditory} knowledge. To answer this question, we construct a new dataset called AuditoryBench, which consists of two novel tasks for evaluating auditory knowledge. Based on our analysis using the benchmark, we find that language models also suffer from a severe lack of auditory knowledge. To address this limitation, we propose AudioBERT, a novel method to augment the auditory knowledge of BERT through a retrieval-based approach. First, we detect auditory knowledge spans in prompts to query our retrieval model efficiently. Then, we inject audio knowledge into BERT and switch on low-rank adaptation for effective adaptation when audio knowledge is required. Our experiments demonstrate that AudioBERT is quite effective, achieving superior performance on the AuditoryBench. The dataset and code are available at \bulurl{https://github.com/HJ-Ok/AudioBERT}.
Abstract（参考訳）: 近年の研究では、テキストのみのデータセットで事前訓練された言語モデルには、日常の物体の色である「textit{e g ,}」といった基本的な視覚的知識が欠けていることが確認されている。この観察により、同様の欠点が \textit{auditory} の知識の観点で存在するかどうかを問う。そこで我々は,聴覚知識を評価するための2つの新しいタスクからなるAuditoryBenchというデータセットを構築した。このベンチマークを用いて分析した結果,言語モデルにも聴覚的知識が不足していることが判明した。この制限に対処するために,検索に基づくアプローチによりBERTの聴覚知識を増強する新しい手法であるAudioBERTを提案する。まず、検索モデルを効率的にクエリするプロンプトにおいて、聴覚的知識の範囲を検知する。そして、BERTに音声知識を注入し、音声知識が必要な場合の効果的な適応のために低ランク適応を切り替える。実験の結果,AudioBERTは非常に効果的であり,AuditoryBench上での優れた性能が得られた。データセットとコードは \bulurl{https://github.com/HJ-Ok/AudioBERT} で公開されている。

関連論文リスト

Towards Open-Vocabulary Audio-Visual Event Localization [59.23161248808759]
本稿では,オープン語彙音声・視覚イベントのローカライズ問題を紹介する。この問題は、音声・視覚イベントのローカライズと、推測時に見つからないデータの両方の明確なカテゴリの予測を必要とする。 OV-AVEBenchデータセットを提案する。
論文参考訳（メタデータ） (2024-11-18T04:35:20Z)
Identifying Speakers in Dialogue Transcripts: A Text-based Approach Using Pretrained Language Models [83.7506131809624]
本稿では,デジタルメディアアーカイブにおけるコンテンツアクセシビリティと検索可能性を高める重要な課題である,対話テキスト中の話者名を識別する手法を提案する。本稿では,メディアサムコーパスから派生した大規模データセットについて述べる。本稿では,話者名を正確に属性付けるために,対話中の文脈的手がかりを活用する,話者IDに適したトランスフォーマーモデルを提案する。
論文参考訳（メタデータ） (2024-07-16T18:03:58Z)
AudioSetMix: Enhancing Audio-Language Datasets with LLM-Assisted Augmentations [1.2101820447447276]
近年,音声言語領域におけるマルチモーダル学習は大きな進歩を遂げている。しかし、音声学習は、画像言語タスクと比較して、限られたデータや低品質のデータによって困難に直面している。本手法は,音声クリップを自然言語ラベルと対応する音声信号処理操作で拡張することにより,音声キャプチャペアを体系的に生成する。このスケーラブルな方法は、テキストおよびオーディオ関連モデルの高品質なトレーニングデータセットであるAudioSetMixを生成する。
論文参考訳（メタデータ） (2024-05-17T21:08:58Z)
Learning Audio Concepts from Counterfactual Natural Language [34.118579918018725]
本研究では,音声領域における因果推論と反事実解析を紹介する。本モデルは,人間の注釈付き参照テキストからの音響特性と音源情報について考察する。具体的には、オープンエンド言語に基づく音声検索タスクにおけるトップ1の精度が43%以上向上した。
論文参考訳（メタデータ） (2024-01-10T05:15:09Z)
Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings [8.660203441911554]
本稿では,音声データを利用した言語モデルの学習手法を提案する。これにより、テスト時のオーディオ処理オーバーヘッドを回避しつつ、音声書き起こしを解析するための言語モデルが改善される。本実験では, 従来の言語モデルに対して, 音声書き起こし解析のタスクにおいて一貫した改善が達成された。
論文参考訳（メタデータ） (2023-11-13T01:53:12Z)
AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
論文参考訳（メタデータ） (2023-08-23T18:20:59Z)
AKVSR: Audio Knowledge Empowered Visual Speech Recognition by Compressing Audio Knowledge of a Pretrained Model [53.492751392755636]
本稿では、音声モダリティを用いて、視覚的モダリティの不十分な音声情報を補うために、AKVSR(AKVSR)を提案する。提案手法の有効性を広範囲な実験により検証し,広範に使用されているLSS3データセット上で新しい最先端性能を実現する。
論文参考訳（メタデータ） (2023-08-15T06:38:38Z)
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations [7.817685358710508]
本稿では,録音やテキストによる記述を共有音声空間に投影するシステムを提案する。以上の結果から, 使用済み拡張戦略は過剰適合を低減し, 検索性能の向上を図っている。さらに、AudioCapsデータセットで事前トレーニングを行うことで、さらなる改善がもたらされることを示す。
論文参考訳（メタデータ） (2022-08-24T11:54:42Z)
Leveraging Pre-trained BERT for Audio Captioning [45.16535378268039]
BERTは訓練済みの言語モデルであり、自然言語処理(NLP)タスクで広く使われている。音声キャプションモデルにおけるデコーダに対するBERTモデルの使用に関する実証的研究を行った。本稿では,AudioCapsデータセット上の既存の音声キャプション手法を用いて,競合する結果を得る。
論文参考訳（メタデータ） (2022-03-06T00:05:58Z)
Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
Wav-BERTは、協調的な音響および言語表現学習法である。我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
論文参考訳（メタデータ） (2021-09-19T16:39:22Z)
Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
論文参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。