論文の概要: Improving Dialogue State Tracking through Combinatorial Search for In-Context Examples

• arxiv url: http://arxiv.org/abs/2506.00622v2
• Date: Tue, 03 Jun 2025 08:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.372952
• Title: Improving Dialogue State Tracking through Combinatorial Search for In-Context Examples
• Title（参考訳）: 文脈内事例の組合せ探索による対話状態追跡の改善
• Authors: Haesung Pyun, Yoonah Park, Yohan Jo,
• Abstract要約: 対話状態追跡(DST)において、検索者は、ラベル付き対話をインコンテキストの例として選択し、これらの例を使用してクエリ対話の対話状態を推測するDSTモデルを使用する。 検索者のためのトレーニングデータを構築するための既存の手法は、3つの重要な制限に悩まされている。 提案手法は,DST性能への影響に基づいて,テキスト中の効果的な実例を評価する手法であるCombiSearchを提案する。 我々のMultiWOZに対する評価は、CombiSearchで訓練されたレトリバーが最先端のモデルを超え、データ効率が20倍向上し、SGDデータセットによく対応していることを示している。
• 参考スコア（独自算出の注目度）: 1.9949730506194254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In dialogue state tracking (DST), in-context learning comprises a retriever that selects labeled dialogues as in-context examples and a DST model that uses these examples to infer the dialogue state of the query dialogue. Existing methods for constructing training data for retrievers suffer from three key limitations: (1) the synergistic effect of examples is not considered, (2) the linguistic characteristics of the query are not sufficiently factored in, and (3) scoring is not directly optimized for DST performance. Consequently, the retriever can fail to retrieve examples that would substantially improve DST performance. To address these issues, we present CombiSearch, a method that scores effective in-context examples based on their combinatorial impact on DST performance. Our evaluation on MultiWOZ shows that retrievers trained with CombiSearch surpass state-of-the-art models, achieving a 20x gain in data efficiency and generalizing well to the SGD dataset. Moreover, CombiSearch attains a 12% absolute improvement in the upper bound DST performance over traditional approaches when no retrieval errors are assumed. This significantly increases the headroom for practical DST performance while demonstrating that existing methods rely on suboptimal data for retriever training.
• Abstract（参考訳）: 対話状態追跡(DST)において、インコンテキスト学習は、ラベル付き対話をインコンテキストの例として選択する検索器と、これらの例を用いてクエリ対話の対話状態を推測するDSTモデルとを備える。 1) 例の相乗効果は考慮されず,(2) クエリの言語的特徴は十分分解されず,(3) スコアは直接DST性能に最適化されない。 これにより、検索者は、DST性能を大幅に向上させるサンプルの検索に失敗する可能性がある。 これらの問題に対処するために,DST性能に対する組合せ的影響に基づいて,テキスト中の効果的な実例をスコアするCombiSearchを提案する。 我々のMultiWOZに対する評価は、CombiSearchで訓練されたレトリバーが最先端のモデルを超え、データ効率が20倍向上し、SGDデータセットによく対応していることを示している。 さらに、CombiSearchは、検索エラーを仮定しない場合、従来のアプローチよりも上界DST性能が12%向上する。 これにより,実際のDST性能向上のためのヘッドルームが大幅に向上し,既存の手法が検索学習に最適なデータに依存していることが証明された。

関連論文リスト

• Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
  LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。 従来は検索キーやクエリとして生の対話コンテキストを使用していた。 会話のテキスト要約に基づいて会話検索を行う。 LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
  論文  参考訳（メタデータ） (2024-02-20T14:31:17Z)
• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• CONVERSER: Few-Shot Conversational Dense Retrieval with Synthetic Data Generation [32.10366004426449]
  対話型高密度検索のためのフレームワークであるConVERSERを提案する。 我々は,大言語モデルのテキスト内学習機能を利用して,検索コーパスの文節に与えられた会話クエリを生成する。 対話型検索ベンチマークOR-QuACとTREC CAsT 19の実験結果から,提案したConverSERは完全教師付きモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-09-13T06:40:24Z)
• SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
  本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。 提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
  論文  参考訳（メタデータ） (2023-07-02T13:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。