論文の概要: Factors affecting the in-context learning abilities of LLMs for dialogue state tracking

• arxiv url: http://arxiv.org/abs/2506.08753v1
• Date: Tue, 10 Jun 2025 12:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.466125
• Title: Factors affecting the in-context learning abilities of LLMs for dialogue state tracking
• Title（参考訳）: 対話状態追跡におけるLLMの文脈内学習能力に影響する要因
• Authors: Pradyoth Hegde, Santosh Kesiraju, Jan Švec, Šimon Sedláček, Bolaji Yusuf, Oldřich Plchot, Deepak K T, Jan Černocký,
• Abstract要約: In-context Learning (ICL) に適した実演を検索するために, 文埋め込みに基づく k-nearest 近傍法を用いる。 次に、実演選択に関連する要因の影響を分析し、対話状態追跡性能に対する文脈の促進を行う。
• 参考スコア（独自算出の注目度）: 3.179018714017876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study explores the application of in-context learning (ICL) to the dialogue state tracking (DST) problem and investigates the factors that influence its effectiveness. We use a sentence embedding based k-nearest neighbour method to retrieve the suitable demonstrations for ICL. The selected demonstrations, along with the test samples, are structured within a template as input to the LLM. We then conduct a systematic study to analyse the impact of factors related to demonstration selection and prompt context on DST performance. This work is conducted using the MultiWoZ2.4 dataset and focuses primarily on the OLMo-7B-instruct, Mistral-7B-Instruct-v0.3, and Llama3.2-3B-Instruct models. Our findings provide several useful insights on in-context learning abilities of LLMs for dialogue state tracking.
• Abstract（参考訳）: 本研究では,対話状態追跡(DST)問題に対する文脈内学習(ICL)の適用について検討し,その効果に影響を与える要因について検討する。 文埋め込みに基づく k-nearest 近傍法を用いて,ICL に適した実演を検索する。 選択されたデモとテストサンプルは、LLMへの入力としてテンプレート内で構成される。 次に、実演選択に関連する要因の分析と、DST性能に対する文脈の促進について、系統的研究を行った。 この研究はMultiWoZ2.4データセットを用いて行われ、主にOLMo-7Bインストラクト、Mistral-7B-インストラクト-v0.3、Llama3.2-3Bインストラクトモデルに焦点を当てている。 本研究は,対話状態追跡のためのLLMの文脈内学習能力について,いくつかの有用な知見を提供する。

関連論文リスト

• LLMs Are In-Context Bandit Reinforcement Learners [30.192422586838997]
  大規模言語モデル(LLMs)は、モデルコンテキストに注釈付きサンプルを追加することに依存する教師付き学習技術であるICL(In-context Learning)で優れている。 そこで本研究では、教師付きデータではなく、外部報酬からオンラインのコンテキスト内学習を行うICRL(In-context reinforcement Learning)について検討する。
  論文  参考訳（メタデータ） (2024-10-07T17:45:00Z)
• In-Context Learning Demonstration Selection via Influence Analysis [11.504012974208466]
  大規模言語モデル(LLM)は、ICL(In-Context Learning)機能を披露した。 その利点にもかかわらず、ICLの有効性はデモの選択に大きく依存している。 本稿では,インフルエンス関数を用いてトレーニングサンプルの影響を解析する,InfICLという実演選択手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T00:39:31Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• An Empirical Study of In-context Learning in LLMs for Machine Translation [10.97460689696944]
  本研究は,機械翻訳における文脈内学習の徹底的な研究である。 まず、ICLが主に例駆動であり、命令駆動ではないことを確認します。 分析には、実演の質や量、空間的近接性、ソース対目的の独創性などの要因が含まれている。
  論文  参考訳（メタデータ） (2024-01-22T16:35:00Z)
• Coverage-based Example Selection for In-Context Learning [27.215972147196805]
  BERTScore-Recall (BSR) がテスト入力の健全な側面をよりよく示すより良い例を選択していることを示す。 6つのタスクにまたがる15のデータセットと7つの LLM に対して、(1) BSR は、ボード全体のコンテキスト内サンプル選択において優れた指標であり、(2) 構成タスクでは、Set-BSR は、平均17ポイントまで独立したランキングを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T08:58:28Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。