論文の概要: MetRoBERTa: Leveraging Traditional Customer Relationship Management Data
to Develop a Transit-Topic-Aware Language Model
- arxiv url: http://arxiv.org/abs/2308.05012v1
- Date: Wed, 9 Aug 2023 15:11:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 13:14:40.342901
- Title: MetRoBERTa: Leveraging Traditional Customer Relationship Management Data
to Develop a Transit-Topic-Aware Language Model
- Title(参考訳): MetRoBERTa: 従来の顧客関係管理データを活用したトランジットトピック対応言語モデルの開発
- Authors: Michael Leong, Awad Abdelhalim, Jude Ha, Dianne Patterson, Gabriel L.
Pincus, Anthony B. Harris, Michael Eichler, Jinhua Zhao
- Abstract要約: そこで本稿では,オープンエンドテキストフィードバックを関連するトランジット特化トピックに分類可能な,トランジットトピック対応の大規模言語モデル(LLM)を提案する。
まず、半教師付き学習を用いて、6年間の顧客フィードバックのコーパスで検出された11の幅広いトランジットトピックのトレーニングデータセットを作成する。
次に、このデータセットを使用して、RoBERTaアーキテクチャに基づいた言語モデルをトレーニングし、徹底的に評価します。
- 参考スコア(独自算出の注目度): 3.3421154214189284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transit riders' feedback provided in ridership surveys, customer relationship
management (CRM) channels, and in more recent times, through social media is
key for transit agencies to better gauge the efficacy of their services and
initiatives. Getting a holistic understanding of riders' experience through the
feedback shared in those instruments is often challenging, mostly due to the
open-ended, unstructured nature of text feedback. In this paper, we propose
leveraging traditional transit CRM feedback to develop and deploy a
transit-topic-aware large language model (LLM) capable of classifying
open-ended text feedback to relevant transit-specific topics. First, we utilize
semi-supervised learning to engineer a training dataset of 11 broad transit
topics detected in a corpus of 6 years of customer feedback provided to the
Washington Metropolitan Area Transit Authority (WMATA). We then use this
dataset to train and thoroughly evaluate a language model based on the RoBERTa
architecture. We compare our LLM, MetRoBERTa, to classical machine learning
approaches utilizing keyword-based and lexicon representations. Our model
outperforms those methods across all evaluation metrics, providing an average
topic classification accuracy of 90%. Finally, we provide a value proposition
of this work demonstrating how the language model, alongside additional text
processing tools, can be applied to add structure to open-ended text sources of
feedback like Twitter. The framework and results we present provide a pathway
for an automated, generalizable approach for ingesting, visualizing, and
reporting transit riders' feedback at scale, enabling agencies to better
understand and improve customer experience.
- Abstract(参考訳): 乗客調査や顧客関係管理(CRM)チャネル,近年ではソーシャルメディアを通じて,交通機関がサービスやイニシアチブの有効性をよりよく評価する上で,交通機関のフィードバックが重要である。
これらの機器で共有されたフィードバックを通じて、ライダーの体験を包括的に理解することは、しばしば困難である。
本稿では,従来のトランジットcrmフィードバックを活用し,トランジットトピックを認識可能な大規模言語モデル(llm)を開発し,展開することを提案する。
まず,ワシントン大都市圏交通局(wmata)が提供する6年間の顧客フィードバックコーパスで検出された11の広範な交通トピックのトレーニングデータセットを,半教師付き学習を用いて構築する。
次に、このデータセットを使用して、RoBERTaアーキテクチャに基づいた言語モデルをトレーニングし、徹底的に評価します。
LLM, MetRoBERTa をキーワードベースおよび語彙表現を用いた古典的機械学習手法と比較した。
提案手法は,すべての評価指標で比較し,平均トピック分類精度90%を提供する。
最後に、この作業の価値提案を提供し、言語モデルと追加のテキスト処理ツールを使って、twitterのようなオープンエンドのテキストソースに構造を追加する方法を示します。
本稿では,交通機関が顧客体験をよりよく理解し,改善できるように,交通機関のフィードバックを大規模に取り込み,視覚化し,報告するための,自動化され,一般化可能なアプローチの道筋を提供する。
関連論文リスト
- AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models [34.82568259708465]
Allhandsは、自然言語インタフェースによる大規模なフィードバック分析のために設計された革新的な分析フレームワークである。
LLMは、精度、堅牢性、一般化、ユーザフレンドリー性を高める大きな言語モデルである。
Allhandsは、テキスト、コード、テーブル、イメージを含む、包括的なマルチモーダルレスポンスを提供する。
論文 参考訳(メタデータ) (2024-03-22T12:13:16Z) - ICLEF: In-Context Learning with Expert Feedback for Explainable Style
Transfer [24.046784201078292]
本稿では,ChatGPTのモデル蒸留による説明により,形式性スタイルの転送データセットを拡張・改善するためのフレームワークを提案する。
我々は9,960個の説明可能なフォーマルなスタイル転送インスタンス(e-AFCGY)のデータセットを用いて、現在のオープン分散命令チューニングモデルがタスクに対して不十分であることを示す。
人間の評価では、データに微調整されたChatGPTよりもはるかに小さいモデルが、専門家の好みとよく一致していることが示される。
論文 参考訳(メタデータ) (2023-09-15T17:41:14Z) - Improving Conversational Recommendation Systems via Counterfactual Data
Simulation [73.4526400381668]
会話推薦システム(CRS)は、自然言語による会話を通じてレコメンデーションサービスを提供することを目的としている。
既存のCRSアプローチは、トレーニングデータの不足により、トレーニングの不十分な問題に悩まされることが多い。
我々は,CRSにおけるデータ不足の問題を緩和するため,CFCRSと呼ばれるCRSに対するCounterFactualデータシミュレーション手法を提案する。
論文 参考訳(メタデータ) (2023-06-05T12:48:56Z) - Using Textual Interface to Align External Knowledge for End-to-End
Task-Oriented Dialogue Systems [53.38517204698343]
本稿では,外部知識の整合化と冗長なプロセスの排除にテキストインタフェースを用いた新しいパラダイムを提案する。
我々は、MultiWOZ-Remakeを用いて、MultiWOZデータベース用に構築されたインタラクティブテキストインタフェースを含む、我々のパラダイムを実演する。
論文 参考訳(メタデータ) (2023-05-23T05:48:21Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:12:43Z) - XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented
Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。
我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。
XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文 参考訳(メタデータ) (2023-05-19T18:00:03Z) - Intent Recognition in Conversational Recommender Systems [0.0]
会話における入力発話を文脈化するためのパイプラインを導入する。
次に、逆機能エンジニアリングを活用して、コンテキスト化された入力と学習モデルをリンクして、意図認識をサポートするための次のステップを踏み出します。
論文 参考訳(メタデータ) (2022-12-06T11:02:42Z) - Leveraging Pre-Trained Language Models to Streamline Natural Language
Interaction for Self-Tracking [25.28975864365579]
本研究では,自己追跡のための新たなNLPタスクを提案する。
このフレームワークは、合成サンプルを使用してタスクを10ショットの学習に変換するプロンプトを強化し、新しいトラッキングトピックをブートストラップする際のコールドスタート問題に対処する。
論文 参考訳(メタデータ) (2022-05-31T01:58:04Z) - Cross-Domain Generalization and Knowledge Transfer in Transformers
Trained on Legal Data [0.0]
異なる型システムで注釈付けされたデータセット間で知識を伝達する事前学習言語モデルの解析を行う。
文がケース決定で果たす修辞的役割の予測は、AI & Lawにおいて重要かつしばしば研究される課題である。
論文 参考訳(メタデータ) (2021-12-15T04:23:14Z) - Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。
我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。
我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
論文 参考訳(メタデータ) (2020-08-21T20:59:34Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳(メタデータ) (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。