論文の概要: Using Large Language Models to Generate, Validate, and Apply User Intent
Taxonomies
- arxiv url: http://arxiv.org/abs/2309.13063v1
- Date: Thu, 14 Sep 2023 20:46:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-01 12:26:03.377679
- Title: Using Large Language Models to Generate, Validate, and Apply User Intent
Taxonomies
- Title（参考訳）: 大きな言語モデルを使ってユーザー意図の分類を生成、検証、適用する
- Authors: Chirag Shah, Ryen W. White, Reid Andersen, Georg Buscher, Scott
Counts, Sarkar Snigdha Sarathi Das, Ali Montazer, Sathish Manivannan,
Jennifer Neville, Xiaochuan Ni, Nagu Rangan, Tara Safavi, Siddharth Suri,
Mengting Wan, Leijie Wang, Longqi Yang
- Abstract要約: 大規模言語モデル(LLM)を用いてログデータ中のユーザ意図を解析する新しい手法を提案する。
本手法は,人的労力を最小限に抑えて,Webスケールログデータのユーザ意図をスケーラブルかつ適応的に分析する方法を提供する。
我々は,Bingの検索とチャットログからユーザ意図に対する新たな洞察を明らかにすることで,その効果を実証する。
- 参考スコア（独自算出の注目度）: 23.057240991673375
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Log data can reveal valuable information about how users interact with web
search services, what they want, and how satisfied they are. However, analyzing
user intents in log data is not easy, especially for new forms of web search
such as AI-driven chat. To understand user intents from log data, we need a way
to label them with meaningful categories that capture their diversity and
dynamics. Existing methods rely on manual or ML-based labeling, which are
either expensive or inflexible for large and changing datasets. We propose a
novel solution using large language models (LLMs), which can generate rich and
relevant concepts, descriptions, and examples for user intents. However, using
LLMs to generate a user intent taxonomy and apply it to do log analysis can be
problematic for two main reasons: such a taxonomy is not externally validated,
and there may be an undesirable feedback loop. To overcome these issues, we
propose a new methodology with human experts and assessors to verify the
quality of the LLM-generated taxonomy. We also present an end-to-end pipeline
that uses an LLM with human-in-the-loop to produce, refine, and use labels for
user intent analysis in log data. Our method offers a scalable and adaptable
way to analyze user intents in web-scale log data with minimal human effort. We
demonstrate its effectiveness by uncovering new insights into user intents from
search and chat logs from Bing.
- Abstract（参考訳）: ログデータは、ユーザがWeb検索サービスとどのように対話するか、何を望んでいるか、そしてその満足度について、貴重な情報を明らかにすることができる。
しかし、特にAI駆動チャットのような新しい形式のWeb検索では、ログデータのユーザの意図を分析することは容易ではない。
ログデータからユーザの意図を理解するには、多様性とダイナミクスを捉えた有意義なカテゴリをラベル付けする方法が必要です。
既存のメソッドは手動またはMLベースのラベリングに依存している。
本稿では,ユーザ意図に対するリッチで関連する概念や記述,例を生成可能な,大規模言語モデル(LLM)を用いた新しいソリューションを提案する。
しかし、llmを使用してユーザ意図の分類を生成してログ解析を行うには、その分類法が外部に検証されていないことと、望ましくないフィードバックループが存在することの2つの主な理由から問題となる。
これらの課題を克服するために,人間の専門家と評価者による新たな方法論を提案し,LLMによる分類の質を検証する。
また、ログデータのユーザインテント分析にラベルを生成、精製、使用するために、ループ内の人間によるllmを使用するエンドツーエンドパイプラインも提示する。
本手法は,人的労力を最小限に抑えて,Webスケールログデータのユーザ意図をスケーラブルかつ適応的に分析する方法を提供する。
我々は,Bingの検索とチャットログからユーザ意図に対する新たな洞察を明らかにすることで,その効果を実証する。
関連論文リスト
- LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。
提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
論文 参考訳（メタデータ） (2024-11-14T13:00:23Z) - TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。
我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。
また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
論文 参考訳（メタデータ） (2024-03-18T18:45:28Z) - Knowledge-Augmented Large Language Models for Personalized Contextual
Query Suggestion [16.563311988191636]
我々は,Web上での検索と閲覧活動に基づいて,各ユーザを対象としたエンティティ中心の知識ストアを構築した。
この知識ストアは、公的な知識グラフ上の興味と知識のユーザ固有の集約予測のみを生成するため、軽量である。
論文 参考訳（メタデータ） (2023-11-10T01:18:47Z) - Eliciting Human Preferences with Language Models [56.68637202313052]
言語モデル(LM)は、ラベル付き例や自然言語のプロンプトを使用してターゲットタスクを実行するように指示することができる。
タスク仕様プロセスのガイドには*LM自身を使うことを提案します。
我々は、メール検証、コンテンツレコメンデーション、道徳的推論の3つの領域でGATEを研究している。
論文 参考訳（メタデータ） (2023-10-17T21:11:21Z) - Actively Discovering New Slots for Task-oriented Conversation [19.815466126158785]
本稿では,ループ内学習を実現するため,情報抽出方式で汎用的なスロットタスクを提案する。
我々は既存の言語ツールを活用し、対応するラベルが弱い監視信号として利用される値候補を抽出する。
いくつかの公開データセットに対して広範な実験を行い、競合するベースラインを多数比較して手法を実証する。
論文 参考訳（メタデータ） (2023-05-06T13:33:33Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳（メタデータ） (2023-03-29T17:03:21Z) - MEGAnno: Exploratory Labeling for NLP in Computational Notebooks [9.462926987075122]
本稿では,NLP実践者と研究者を対象とした新しいアノテーションフレームワークMEGAnnoを紹介する。
MEGAnnoを使えば、ユーザーは高度な検索機能と対話型提案機能を通じてデータを探索できる。
我々は,MEGAnnoのフレキシブル,探索的,効率的,シームレスなラベル付け体験を感情分析のユースケースを通じて実証する。
論文 参考訳（メタデータ） (2023-01-08T19:16:22Z) - Graph Enhanced BERT for Query Understanding [55.90334539898102]
クエリ理解は、ユーザの検索意図を探索し、ユーザが最も望まれる情報を発見できるようにする上で、重要な役割を果たす。
近年、プレトレーニング言語モデル (PLM) は様々な自然言語処理タスクを進歩させてきた。
本稿では,クエリコンテンツとクエリグラフの両方を活用可能な,グラフ強化事前学習フレームワークGE-BERTを提案する。
論文 参考訳（メタデータ） (2022-04-03T16:50:30Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced
Graph Neural Network [62.12557274257303]
分類学は機械解釈可能な意味論から成り、多くのウェブアプリケーションに貴重な知識を提供する。
そこで我々は,既存の分類学から,クエリの集合を自動生成するTaxoExpanという,新しい自己教師型フレームワークを提案する。
本研究では,(1)既存の分類学におけるアンカー概念の局所構造を符号化する位置強調グラフニューラルネットワーク,(2)学習モデルが自己超越データにおけるラベルノイズに敏感になるようなノイズローバスト学習の2つの手法を開発する。
論文 参考訳（メタデータ） (2020-01-26T21:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。