論文の概要: Factors affecting the in-context learning abilities of LLMs for dialogue state tracking
- arxiv url: http://arxiv.org/abs/2506.08753v1
- Date: Tue, 10 Jun 2025 12:46:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:42.466125
- Title: Factors affecting the in-context learning abilities of LLMs for dialogue state tracking
- Title（参考訳）: 対話状態追跡におけるLLMの文脈内学習能力に影響する要因
- Authors: Pradyoth Hegde, Santosh Kesiraju, Jan Švec, Šimon Sedláček, Bolaji Yusuf, Oldřich Plchot, Deepak K T, Jan Černocký,
- Abstract要約: In-context Learning (ICL) に適した実演を検索するために, 文埋め込みに基づく k-nearest 近傍法を用いる。
次に、実演選択に関連する要因の影響を分析し、対話状態追跡性能に対する文脈の促進を行う。
- 参考スコア（独自算出の注目度）: 3.179018714017876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study explores the application of in-context learning (ICL) to the dialogue state tracking (DST) problem and investigates the factors that influence its effectiveness. We use a sentence embedding based k-nearest neighbour method to retrieve the suitable demonstrations for ICL. The selected demonstrations, along with the test samples, are structured within a template as input to the LLM. We then conduct a systematic study to analyse the impact of factors related to demonstration selection and prompt context on DST performance. This work is conducted using the MultiWoZ2.4 dataset and focuses primarily on the OLMo-7B-instruct, Mistral-7B-Instruct-v0.3, and Llama3.2-3B-Instruct models. Our findings provide several useful insights on in-context learning abilities of LLMs for dialogue state tracking.
- Abstract（参考訳）: 本研究では,対話状態追跡(DST)問題に対する文脈内学習(ICL)の適用について検討し,その効果に影響を与える要因について検討する。
文埋め込みに基づく k-nearest 近傍法を用いて,ICL に適した実演を検索する。
選択されたデモとテストサンプルは、LLMへの入力としてテンプレート内で構成される。
次に、実演選択に関連する要因の分析と、DST性能に対する文脈の促進について、系統的研究を行った。
この研究はMultiWoZ2.4データセットを用いて行われ、主にOLMo-7Bインストラクト、Mistral-7B-インストラクト-v0.3、Llama3.2-3Bインストラクトモデルに焦点を当てている。
本研究は,対話状態追跡のためのLLMの文脈内学習能力について,いくつかの有用な知見を提供する。
関連論文リスト
- Investigating the Zone of Proximal Development of Language Models for In-Context Learning [59.91708683601029]
大規模言語モデル(LLM)の文脈内学習(ICL)の振る舞いを分析するための学習分析フレームワークを提案する。
我々は,各例のモデル性能に基づいて,LLMのZPDを測定することにより,ZPD理論をICLに適用する。
本研究はICLの複雑な多面的動作を明らかにし,この手法の理解と活用に関する新たな知見を提供する。
論文 参考訳（メタデータ） (2025-02-10T19:36:21Z) - PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。
PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。
バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
論文 参考訳（メタデータ） (2024-12-16T16:09:35Z) - What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。
本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
論文 参考訳（メタデータ） (2024-12-11T11:38:11Z) - LLMs Are In-Context Bandit Reinforcement Learners [30.192422586838997]
大規模言語モデル(LLMs)は、モデルコンテキストに注釈付きサンプルを追加することに依存する教師付き学習技術であるICL(In-context Learning)で優れている。
そこで本研究では、教師付きデータではなく、外部報酬からオンラインのコンテキスト内学習を行うICRL(In-context reinforcement Learning)について検討する。
論文 参考訳（メタデータ） (2024-10-07T17:45:00Z) - Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。
我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
論文 参考訳（メタデータ） (2024-07-17T11:26:47Z) - How Does the Textual Information Affect the Retrieval of Multimodal In-Context Learning? [11.374310255084753]
本稿では,マルチモーダル・イン・コンテクスト学習効率を向上させるニューラルネットワークを用いたMLLM-Retriever MSIERを提案する。
このアプローチは3つの異なるタスクにわたる広範なテストを通じて検証され、メソッドの有効性が実証される。
この探索は、マルチモーダルデータの戦略的利用を通じてMLLMにおける洗練された文脈内学習の可能性を強調し、今後の進歩の道を開くものである。
論文 参考訳（メタデータ） (2024-04-19T13:05:37Z) - LLM In-Context Recall is Prompt Dependent [0.0]
これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。
本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
論文 参考訳（メタデータ） (2024-04-13T01:13:59Z) - In-Context Learning Demonstration Selection via Influence Analysis [11.504012974208466]
大規模言語モデル(LLM)は、ICL(In-Context Learning)機能を披露した。
その利点にもかかわらず、ICLの有効性はデモの選択に大きく依存している。
本稿では,インフルエンス関数を用いてトレーニングサンプルの影響を解析する,InfICLという実演選択手法を提案する。
論文 参考訳（メタデータ） (2024-02-19T00:39:31Z) - C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-02-17T11:28:08Z) - An Empirical Study of In-context Learning in LLMs for Machine Translation [10.97460689696944]
本研究は,機械翻訳における文脈内学習の徹底的な研究である。
まず、ICLが主に例駆動であり、命令駆動ではないことを確認します。
分析には、実演の質や量、空間的近接性、ソース対目的の独創性などの要因が含まれている。
論文 参考訳（メタデータ） (2024-01-22T16:35:00Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。
また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
論文 参考訳（メタデータ） (2023-08-21T15:35:16Z) - Coverage-based Example Selection for In-Context Learning [27.215972147196805]
BERTScore-Recall (BSR) がテスト入力の健全な側面をよりよく示すより良い例を選択していることを示す。
6つのタスクにまたがる15のデータセットと7つの LLM に対して、(1) BSR は、ボード全体のコンテキスト内サンプル選択において優れた指標であり、(2) 構成タスクでは、Set-BSR は、平均17ポイントまで独立したランキングを上回ります。
論文 参考訳（メタデータ） (2023-05-24T08:58:28Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳（メタデータ） (2023-03-09T06:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。