論文の概要: Self-Supervised Contrastive Learning for Efficient User Satisfaction
Prediction in Conversational Agents
- arxiv url: http://arxiv.org/abs/2010.11230v2
- Date: Sun, 11 Apr 2021 16:44:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 22:59:06.947565
- Title: Self-Supervised Contrastive Learning for Efficient User Satisfaction
Prediction in Conversational Agents
- Title（参考訳）: 会話エージェントにおけるユーザ満足度予測のための自己教師付きコントラスト学習
- Authors: Mohammad Kachuee, Hao Yuan, Young-Bum Kim, Sungjin Lee
- Abstract要約: ユーザとエージェントのインタラクションを学習するための,自己指導型コントラスト学習手法を提案する。
自己教師対象を用いた事前学習モデルは,ユーザ満足度予測に転送可能であることを示す。
また、非常に小さなサンプルサイズに対して、より優れた転送性を確保するために、新しい数発の転送学習手法を提案する。
- 参考スコア（独自算出の注目度）: 35.2098736872247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Turn-level user satisfaction is one of the most important performance metrics
for conversational agents. It can be used to monitor the agent's performance
and provide insights about defective user experiences. Moreover, a powerful
satisfaction model can be used as an objective function that a conversational
agent continuously optimizes for. While end-to-end deep learning has shown
promising results, having access to a large number of reliable annotated
samples required by these methods remains challenging. In a large-scale
conversational system, there is a growing number of newly developed skills,
making the traditional data collection, annotation, and modeling process
impractical due to the required annotation costs as well as the turnaround
times. In this paper, we suggest a self-supervised contrastive learning
approach that leverages the pool of unlabeled data to learn user-agent
interactions. We show that the pre-trained models using the self-supervised
objective are transferable to the user satisfaction prediction. In addition, we
propose a novel few-shot transfer learning approach that ensures better
transferability for very small sample sizes. The suggested few-shot method does
not require any inner loop optimization process and is scalable to very large
datasets and complex models. Based on our experiments using real-world data
from a large-scale commercial system, the suggested approach is able to
significantly reduce the required number of annotations, while improving the
generalization on unseen out-of-domain skills.
- Abstract（参考訳）: ターンレベルのユーザ満足度は、会話エージェントにとって最も重要なパフォーマンス指標の1つです。
エージェントのパフォーマンスを監視し、欠陥のあるユーザエクスペリエンスに関する洞察を提供するために使用できる。
さらに、会話エージェントが継続的に最適化する目的関数として、強力な満足度モデルを用いることもできる。
エンドツーエンドのディープラーニングは有望な結果を示しているが、これらの手法で要求される大量の信頼できる注釈付きサンプルにアクセスすることは依然として困難である。
大規模な会話システムでは,従来のデータ収集やアノテーション,モデリングプロセスが,必要なアノテーションコストとターンアラウンド時間によって非現実的になるなど,新たに開発されたスキルが増えている。
本稿では,ラベルなしデータのプールを利用してユーザエージェント間インタラクションを学習する,自己教師付きコントラスト学習手法を提案する。
自己教師対象を用いた事前学習モデルは,ユーザ満足度予測に転送可能であることを示す。
さらに, 非常に小さなサンプルサイズに対して, より優れた転送性を実現するための, 複数ショット転送学習手法を提案する。
提案手法では,内部ループ最適化プロセスは不要であり,大規模データセットや複雑なモデルにスケーラブルである。
大規模商用システムからの実世界データを用いた実験に基づいて,提案手法は,ドメイン外スキルの一般化を改善しつつ,必要なアノテーション数を大幅に削減することができる。
関連論文リスト
- Retrieval Augmentation via User Interest Clustering [57.63883506013693]
インダストリアルレコメンデータシステムは、ユーザ・イテム・エンゲージメントのパターンに敏感である。
本稿では,ユーザの関心を効率的に構築し,計算コストの低減を図る新しい手法を提案する。
当社のアプローチはMetaの複数の製品に展開されており、ショートフォームビデオ関連の推奨を助長しています。
論文 参考訳（メタデータ） (2024-08-07T16:35:10Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - Persona-DB: Efficient Large Language Model Personalization for Response Prediction with Collaborative Data Refinement [79.2400720115588]
本稿では,タスクコンテキスト間の一般化を改善するための階層的な構築プロセスからなる,シンプルで効果的なフレームワークであるPersona-DBを紹介する。
応答予測の評価において,Persona-DB は精度を著しく低減した検索サイズで維持する上で,より優れたコンテキスト効率を示す。
我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで10%以上の顕著な改善が示されていることも示している。
論文 参考訳（メタデータ） (2024-02-16T20:20:43Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳（メタデータ） (2022-09-14T00:48:37Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳（メタデータ） (2022-03-18T16:50:38Z) - Model-agnostic and Scalable Counterfactual Explanations via
Reinforcement Learning [0.5729426778193398]
本稿では,最適化手順をエンドツーエンドの学習プロセスに変換する深層強化学習手法を提案する。
実世界のデータを用いた実験により,本手法はモデルに依存しず,モデル予測からのフィードバックのみに依存することがわかった。
論文 参考訳（メタデータ） (2021-06-04T16:54:36Z) - Interactive Weak Supervision: Learning Useful Heuristics for Data
Labeling [19.24454872492008]
弱監督は、基礎的な真理ラベルなしでラベル付きデータセットを作成するための有望な代替手段を提供する。
本稿では,対話型弱監督のための最初のフレームワークを開発し,その手法が反復を提案し,ユーザフィードバックから学習する。
私たちの実験は、非常に競争力のあるテストセット性能を達成するモデルのトレーニングに少数のフィードバックが必要であることを示しています。
論文 参考訳（メタデータ） (2020-12-11T00:10:38Z) - Large-scale Hybrid Approach for Predicting User Satisfaction with
Conversational Agents [28.668681892786264]
ユーザの満足度を測定することは難しい課題であり、大規模な会話エージェントシステムの開発において重要な要素である。
人間のアノテーションに基づくアプローチは簡単に制御できるが、スケールするのは難しい。
新たなアプローチとして,会話エージェントシステムに埋め込まれたフィードバック誘導システムを通じて,ユーザの直接的なフィードバックを収集する手法がある。
論文 参考訳（メタデータ） (2020-05-29T16:29:09Z) - Learning from Imperfect Annotations [15.306536555936692]
現在、多くの機械学習システムは、大量の人間の注釈付きデータに基づいて訓練されている。
モデルトレーニングとアグリゲーションステップをマージすることを可能にする新しいエンドツーエンドフレームワークを提案する。
アノテーションを集約する現在の最先端アプローチに比べて、精度が最大25%向上していることを示す。
論文 参考訳（メタデータ） (2020-04-07T15:21:08Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。