論文の概要: Spoken Language Understanding on Unseen Tasks With In-Context Learning

• arxiv url: http://arxiv.org/abs/2505.07731v1
• Date: Mon, 12 May 2025 16:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.494325
• Title: Spoken Language Understanding on Unseen Tasks With In-Context Learning
• Title（参考訳）: 文脈内学習による未知タスクの音声言語理解
• Authors: Neeraj Agrawal, Sriram Ganapathy,
• Abstract要約: ランダムなクラスラベルを用いたタスク非依存の微調整のための新しい手法を提案する。 そこで本研究では,未知タスクにおける音声テキストLLMの性能が,標準手法よりも大幅に向上していることを示す。
• 参考スコア（独自算出の注目度）: 32.375855980608286
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Spoken language understanding (SLU) tasks involve diverse skills that probe the information extraction, classification and/or generation capabilities of models. In this setting, task-specific training data may not always be available. While traditional task-specific SLU models are unable to cater to such requirements, the speech-text large language models (LLMs) offer a promising alternative with emergent abilities. However, out of-the-box, our evaluations indicate that the zero/few-shot performance of prominent open-source speech-text LLMs on SLU tasks are not up to the mark. In this paper, we introduce a novel approach to robust task-agnostic fine-tuning using randomized class labels. With this proposed fine-tuning, we illustrate that the performance of the speech-text LLMs on an unseen task is significantly improved over standard approaches. Critically, the proposed approach avoids the requirement of task-specific data annotations for enabling new tasks in speech-text LLMs.
• Abstract（参考訳）: 音声言語理解(SLU)タスクは、モデルの情報抽出、分類、および/または生成能力を探索する多様なスキルを含む。 この設定では、タスク固有のトレーニングデータが常に利用できるとは限らない。 従来のタスク固有のSLUモデルはそのような要件を満たすことができないが、音声テキストの大規模言語モデル(LLM)は創発的な能力を持つ有望な代替手段を提供する。 しかし,SLUタスクにおける顕著なオープンソース音声テキストLLMのゼロ/フェーショット性能は,その限界に達していないことを示す。 本稿では,ランダムなクラスラベルを用いた頑健なタスク非依存の微調整手法を提案する。 提案した微調整により,未知タスクにおける音声テキストLLMの性能が,標準手法よりも大幅に向上したことを示す。 批判的に、提案手法は、音声テキストLLMにおける新しいタスクを可能にするためのタスク固有のデータアノテーションの要求を回避している。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• UNDIAL: Self-Distillation with Adjusted Logits for Robust Unlearning in Large Language Models [12.45822383965784]
  本稿では,UnDIAL(Unlearning via Self-Distillation on Adjusted Logits)を紹介する。 本手法では, 自己蒸留を利用してロジットを調整し, ターゲットトークンの影響を選択的に低減する。
  論文  参考訳（メタデータ） (2024-02-15T16:21:14Z)
• UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions [64.50935101415776]
  我々は,様々な音声言語理解(SLU)タスクを共同で行う単一モデルを構築した。 我々は17のデータセットと9の言語にまたがる12の音声分類とシーケンス生成タスクタイプに対して,1つのマルチタスク学習モデル"UniverSLU"の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-04T17:10:23Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• Meta Auxiliary Learning for Low-resource Spoken Language Understanding [11.002938634213734]
  音声言語理解(SLU)は、音声認識(ASR)と自然言語理解(NLU)を統一的なタスクとして扱う。 低リソースSLUタスクの性能向上のために,メタ補助学習に基づくASRとNLUのジョイントトレーニング手法を利用する。
  論文  参考訳（メタデータ） (2022-06-26T03:12:33Z)
• Low Resource Pipeline for Spoken Language Understanding via Weak Supervision [5.9901156966011975]
  Weak Supervised Learning (WSL)では、セマンティックルールとタスク固有の事前学習モデルから得られたノイズの多いラベルに基づいてモデルを訓練する。 タスク非依存のプロンプトは一般化可能であり,様々な音声言語理解(SLU)タスクのノイズラベルを得るのに利用できることを示す。 そこで我々は,SLUタスクの信頼ラベルを生成するプロンプトベースの手法を,ラベル付きデータがない場合に,弱教師付きモデル(WSM)を訓練するための普遍的な弱い情報源として利用することができることを示した。
  論文  参考訳（メタデータ） (2022-06-21T17:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。