Fugu-MT 論文翻訳(概要): When Large Language Models Meet Speech: A Survey on Integration Approaches

論文の概要: When Large Language Models Meet Speech: A Survey on Integration Approaches

arxiv url: http://arxiv.org/abs/2502.19548v1
Date: Wed, 26 Feb 2025 20:40:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-28 14:56:19.766835
Title: When Large Language Models Meet Speech: A Survey on Integration Approaches
Title（参考訳）: 大規模言語モデルと音声:統合アプローチに関する調査
Authors: Zhengdong Yang, Shuichiro Shimizu, Yahan Yu, Chenhui Chu,
Abstract要約: 大規模言語モデル(LLM)の最近の進歩は、テキストベースのタスクを超えてアプリケーションを拡張することへの関心を喚起している。本稿では,LLMと音声の統合について検討し,方法論を3つの主要なアプローチに分類する。これらの手法が様々な音声関連アプリケーションにどのように適用されているかを示し、インスピレーションを与えるためにこの分野の課題を強調した。
参考スコア（独自算出の注目度）: 13.810738563269524
License:
Abstract: Recent advancements in large language models (LLMs) have spurred interest in expanding their application beyond text-based tasks. A large number of studies have explored integrating other modalities with LLMs, notably speech modality, which is naturally related to text. This paper surveys the integration of speech with LLMs, categorizing the methodologies into three primary approaches: text-based, latent-representation-based, and audio-token-based integration. We also demonstrate how these methods are applied across various speech-related applications and highlight the challenges in this field to offer inspiration for
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、テキストベースのタスクを超えてアプリケーションを拡張することへの関心を喚起している。多くの研究が、他のモダリティをLLMと統合すること、特に音声のモダリティについて検討している。本稿では,LLMと音声の統合について検討し,その方法論をテキストベース,潜在表現ベース,音声トケンベースという3つの主要なアプローチに分類する。また、これらの手法が様々な音声関連アプリケーションにまたがってどのように適用されているかを示し、この分野の課題を強調してインスピレーションを与える。

関連論文リスト

SparQLe: Speech Queries to Text Translation Through LLMs [0.8901073744693314]
そこで本研究では,自己教師型音声表現と命令調整型LLMを併用して,音声からテキストへの翻訳を行う手法を提案する。実験により,本手法は入力音声の意味的内容を効果的に保存し,自己教師型音声モデルと命令調整型LLMの効果的なブリッジとして機能することが示された。
論文参考訳（メタデータ） (2025-02-13T12:57:15Z)
When Text Embedding Meets Large Language Model: A Comprehensive Survey [17.263184207651072]
テキスト埋め込みは、ディープラーニング時代に自然言語処理(NLP)の基礎技術となった。大規模言語モデル(LLM)と3つの主題に埋め込まれたテキストの相互作用を分類する。我々は,LLM 以前の言語モデル (PLM) を用いて,LLM 以前の未解決課題を強調し,LLM がもたらした新たな障害を探求する。
論文参考訳（メタデータ） (2024-12-12T10:50:26Z)
Roadmap towards Superhuman Speech Understanding using Large Language Models [60.57947401837938]
大規模言語モデル(LLM)は、音声データと音声データを統合したものである。 GPT-4oのような最近の進歩は、エンドツーエンドのLLMの可能性を強調している。本稿では,基本自動音声認識(ASR)から高度な超人モデルまで,5段階のロードマップを提案する。
論文参考訳（メタデータ） (2024-10-17T06:44:06Z)
Recent Advances in Speech Language Models: A Survey [45.968078636811356]
音声言語モデル(SpeechLMs)は、テキストから変換することなく音声を生成するエンドツーエンドモデルである。本稿では,近年のSpeechLM構築手法について概観する。
論文参考訳（メタデータ） (2024-10-01T21:48:12Z)
DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
論文参考訳（メタデータ） (2024-09-30T07:01:21Z)
From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
論文参考訳（メタデータ） (2024-09-19T02:51:54Z)
A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
論文参考訳（メタデータ） (2024-08-02T15:14:53Z)
An End-to-End Speech Summarization Using Large Language Model [7.562198375754054]
音声要約(SSum)は、音声コンテンツから人間に似たテキスト要約を生成することを目的としている。大規模言語モデル(LLM)とマルチモーダル情報融合の研究は、新たな洞察をもたらした。本稿では、Q-Formerを音声テキストモダリティのコネクタとして利用するエンドツーエンドのSSumモデルを提案する。
論文参考訳（メタデータ） (2024-07-02T07:22:57Z)
Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation [46.93969003104427]
本稿では,広範な音声テキストLLMフレームワークである統一音声対話モデル(USDM)を紹介する。 USDMは、与えられた入力音声に関連する自然な韻律的特徴を持つコヒーレントな音声応答を生成するように設計されている。提案手法は,従来のベースラインとカスケードベースラインを超越した自然な音声応答を効果的に生成する。
論文参考訳（メタデータ） (2024-02-08T14:35:09Z)
Collaborative Reasoning on Multi-Modal Semantic Graphs for Video-Grounded Dialogue Generation [53.87485260058957]
本研究では,対話コンテキストと関連ビデオに基づいて応答を生成するビデオグラウンド・ダイアログ生成について検討する。本課題の主な課題は,(1)事前学習言語モデル(PLM)に映像データを統合することの難しさである。異なるモーダルの推論を協調的に行うマルチエージェント強化学習法を提案する。
論文参考訳（メタデータ） (2022-10-22T14:45:29Z)
Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文参考訳（メタデータ） (2020-10-14T17:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。