論文の概要: Using Large Language Models to Generate, Validate, and Apply User Intent Taxonomies

• arxiv url: http://arxiv.org/abs/2309.13063v3
• Date: Fri, 10 May 2024 03:07:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 20:36:56.392700
• Title: Using Large Language Models to Generate, Validate, and Apply User Intent Taxonomies
• Title（参考訳）: 大規模言語モデルによるユーザインテント分類の生成、検証、適用
• Authors: Chirag Shah, Ryen W. White, Reid Andersen, Georg Buscher, Scott Counts, Sarkar Snigdha Sarathi Das, Ali Montazer, Sathish Manivannan, Jennifer Neville, Xiaochuan Ni, Nagu Rangan, Tara Safavi, Siddharth Suri, Mengting Wan, Leijie Wang, Longqi Yang,
• Abstract要約: ログデータは、ユーザがWeb検索サービスと対話する方法に関する貴重な情報を明らかにすることができる。 ログデータからユーザ意図を理解するためには、意味のあるカテゴリにラベル付けする方法が必要です。 本稿では,多言語モデル(LLM)を用いて,リッチで関連する概念を生成可能な新しいソリューションを提案する。
• 参考スコア（独自算出の注目度）: 22.62511001907081
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Log data can reveal valuable information about how users interact with Web search services, what they want, and how satisfied they are. However, analyzing user intents in log data is not easy, especially for emerging forms of Web search such as AI-driven chat. To understand user intents from log data, we need a way to label them with meaningful categories that capture their diversity and dynamics. Existing methods rely on manual or machine-learned labeling, which are either expensive or inflexible for large and dynamic datasets. We propose a novel solution using large language models (LLMs), which can generate rich and relevant concepts, descriptions, and examples for user intents. However, using LLMs to generate a user intent taxonomy and apply it for log analysis can be problematic for two main reasons: (1) such a taxonomy is not externally validated; and (2) there may be an undesirable feedback loop. To address this, we propose a new methodology with human experts and assessors to verify the quality of the LLM-generated taxonomy. We also present an end-to-end pipeline that uses an LLM with human-in-the-loop to produce, refine, and apply labels for user intent analysis in log data. We demonstrate its effectiveness by uncovering new insights into user intents from search and chat logs from the Microsoft Bing commercial search engine. The proposed work's novelty stems from the method for generating purpose-driven user intent taxonomies with strong validation. This method not only helps remove methodological and practical bottlenecks from intent-focused research, but also provides a new framework for generating, validating, and applying other kinds of taxonomies in a scalable and adaptable way with reasonable human effort.
• Abstract（参考訳）: ログデータは、ユーザーがWeb検索サービスとどのようにやりとりするか、何を望んでいるか、そしてどれだけ満足しているかに関する貴重な情報を明らかにすることができる。 しかし、特にAI駆動チャットのような新しい形式のWeb検索では、ログデータにおけるユーザの意図を分析することは容易ではない。 ログデータからユーザの意図を理解するためには、それらの多様性とダイナミクスをキャプチャする意味のあるカテゴリをラベル付けする方法が必要です。 既存の手法は手動または機械学習によるラベリングに依存しており、大規模でダイナミックなデータセットには高価か柔軟性がない。 本稿では,ユーザ意図に対するリッチで関連する概念や記述,例を生成可能な,大規模言語モデル(LLM)を用いた新しいソリューションを提案する。 しかし,LSMを用いてユーザ意図の分類を作成し,ログ解析に適用することは,(1)分類が外部に検証されていないこと,(2)望ましくないフィードバックループが存在すること,の2つの主な理由から問題となる。 そこで本研究では,LLMによる分類の質を検証するため,人間の専門家と評価者による新たな方法論を提案する。 また,LLMとHuman-in-the-loopを併用したエンド・ツー・エンドのパイプラインを用いて,ログデータにおけるユーザ意図分析のためのラベルの生成,洗練,適用を行う。 我々は,Microsoft Bingの商用検索エンジンからの検索とチャットログから,ユーザ意図に対する新たな洞察を明らかにすることで,その効果を実証する。 提案手法の新規性は、目的駆動型ユーザ意図分類を強力な検証で生成する方法に起因している。 この方法は、意図的な研究から方法論的および実践的なボトルネックを取り除くのに役立つだけでなく、合理的な人間の努力でスケーラブルで適応可能な方法で他の種類の分類を生成、検証、適用するための新しい枠組みを提供する。

関連論文リスト

• LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
  本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。 提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
  大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。 我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。 また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
  論文  参考訳（メタデータ） (2024-03-18T18:45:28Z)
• Knowledge-Augmented Large Language Models for Personalized Contextual Query Suggestion [16.563311988191636]
  我々は,Web上での検索と閲覧活動に基づいて,各ユーザを対象としたエンティティ中心の知識ストアを構築した。 この知識ストアは、公的な知識グラフ上の興味と知識のユーザ固有の集約予測のみを生成するため、軽量である。
  論文  参考訳（メタデータ） (2023-11-10T01:18:47Z)
• Eliciting Human Preferences with Language Models [56.68637202313052]
  言語モデル(LM)は、ラベル付き例や自然言語のプロンプトを使用してターゲットタスクを実行するように指示することができる。 タスク仕様プロセスのガイドには*LM自身を使うことを提案します。 我々は、メール検証、コンテンツレコメンデーション、道徳的推論の3つの領域でGATEを研究している。
  論文  参考訳（メタデータ） (2023-10-17T21:11:21Z)
• Actively Discovering New Slots for Task-oriented Conversation [19.815466126158785]
  本稿では,ループ内学習を実現するため,情報抽出方式で汎用的なスロットタスクを提案する。 我々は既存の言語ツールを活用し、対応するラベルが弱い監視信号として利用される値候補を抽出する。 いくつかの公開データセットに対して広範な実験を行い、競合するベースラインを多数比較して手法を実証する。
  論文  参考訳（メタデータ） (2023-05-06T13:33:33Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• MEGAnno: Exploratory Labeling for NLP in Computational Notebooks [9.462926987075122]
  本稿では,NLP実践者と研究者を対象とした新しいアノテーションフレームワークMEGAnnoを紹介する。 MEGAnnoを使えば、ユーザーは高度な検索機能と対話型提案機能を通じてデータを探索できる。 我々は,MEGAnnoのフレキシブル,探索的,効率的,シームレスなラベル付け体験を感情分析のユースケースを通じて実証する。
  論文  参考訳（メタデータ） (2023-01-08T19:16:22Z)
• Graph Enhanced BERT for Query Understanding [55.90334539898102]
  クエリ理解は、ユーザの検索意図を探索し、ユーザが最も望まれる情報を発見できるようにする上で、重要な役割を果たす。 近年、プレトレーニング言語モデル (PLM) は様々な自然言語処理タスクを進歩させてきた。 本稿では,クエリコンテンツとクエリグラフの両方を活用可能な,グラフ強化事前学習フレームワークGE-BERTを提案する。
  論文  参考訳（メタデータ） (2022-04-03T16:50:30Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced Graph Neural Network [62.12557274257303]
  分類学は機械解釈可能な意味論から成り、多くのウェブアプリケーションに貴重な知識を提供する。 そこで我々は,既存の分類学から,クエリの集合を自動生成するTaxoExpanという,新しい自己教師型フレームワークを提案する。 本研究では,(1)既存の分類学におけるアンカー概念の局所構造を符号化する位置強調グラフニューラルネットワーク,(2)学習モデルが自己超越データにおけるラベルノイズに敏感になるようなノイズローバスト学習の2つの手法を開発する。
  論文  参考訳（メタデータ） (2020-01-26T21:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。