論文の概要: Leveraging Information Retrieval to Enhance Spoken Language Understanding Prompts in Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2506.03035v1
• Date: Tue, 03 Jun 2025 16:18:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.82707
• Title: Leveraging Information Retrieval to Enhance Spoken Language Understanding Prompts in Few-Shot Learning
• Title（参考訳）: Few-Shot Learningにおける音声言語理解の促進のための情報検索の活用
• Authors: Pierre Lepagnol, Sahar Ghannay, Thomas Gerald, Christophe Servan, Sophie Rosset,
• Abstract要約: 検討されたシステムの信頼性を確保するために,正確な音声言語理解手法を開発することが重要である。 現在の最先端のSLU技術は大量のトレーニングデータに依存しているが、特定のタスクや言語で利用可能な注釈付き例は限られている。 SLUタスクに適用可能な拡張プロンプトを構築するために、情報検索(IR)アプローチを利用したサンプル選択を提案する。
• 参考スコア（独自算出の注目度）: 4.4467858321751015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding user queries is fundamental in many applications, such as home assistants, booking systems, or recommendations. Accordingly, it is crucial to develop accurate Spoken Language Understanding (SLU) approaches to ensure the reliability of the considered system. Current State-of-the-Art SLU techniques rely on large amounts of training data; however, only limited annotated examples are available for specific tasks or languages. In the meantime, instruction-tuned large language models (LLMs) have shown exceptional performance on unseen tasks in a few-shot setting when provided with adequate prompts. In this work, we propose to explore example selection by leveraging Information retrieval (IR) approaches to build an enhanced prompt that is applied to an SLU task. We evaluate the effectiveness of the proposed method on several SLU benchmarks. Experimental results show that lexical IR methods significantly enhance performance without increasing prompt length.
• Abstract（参考訳）: ユーザクエリを理解することは、ホームアシスタント、予約システム、レコメンデーションなど、多くのアプリケーションにおいて基本である。 したがって,SLU (Spoken Language Understanding) アプローチを高精度に開発し,その信頼性を確保することが重要である。 現在の最先端のSLU技術は大量のトレーニングデータに依存しているが、特定のタスクや言語で利用可能な注釈付き例は限られている。 一方、命令調整型大規模言語モデル(LLM)は、適切なプロンプトが与えられた場合、数ショット設定で、目に見えないタスクに対して例外的な性能を示す。 本研究では、情報検索(IR)手法を利用してサンプル選択を探索し、SLUタスクに適用可能な拡張プロンプトを構築することを提案する。 提案手法の有効性を複数のSLUベンチマークで評価した。 実験の結果, レキシカルIR法は, 即時長を増大させることなく, 性能を著しく向上させることがわかった。

関連論文リスト

• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Helping Language Models Learn More: Multi-dimensional Task Prompt for Few-shot Tuning [36.14688633670085]
  本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。 提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
  論文  参考訳（メタデータ） (2023-12-13T10:00:44Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。