論文の概要: Evaluating the Robustness of Conversational Recommender Systems by
Adversarial Examples
- arxiv url: http://arxiv.org/abs/2303.05575v1
- Date: Thu, 9 Mar 2023 20:51:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-13 16:54:19.293521
- Title: Evaluating the Robustness of Conversational Recommender Systems by
Adversarial Examples
- Title(参考訳): 逆例による会話レコメンダシステムのロバスト性評価
- Authors: Ali Montazeralghaem and James Allan
- Abstract要約: 2つのカテゴリに4つのシナリオを含む逆評価手法を提案する。
我々は、異なる入力データに直面して、これらのシステムのロバスト性を評価するために、逆例を生成する。
以上の結果から, いずれのシステムも頑健であり, 敵の例に信頼性がないことが明らかとなった。
- 参考スコア(独自算出の注目度): 16.49836195831763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conversational recommender systems (CRSs) are improving rapidly, according to
the standard recommendation accuracy metrics. However, it is essential to make
sure that these systems are robust in interacting with users including regular
and malicious users who want to attack the system by feeding the system
modified input data. In this paper, we propose an adversarial evaluation scheme
including four scenarios in two categories and automatically generate
adversarial examples to evaluate the robustness of these systems in the face of
different input data. By executing these adversarial examples we can compare
the ability of different conversational recommender systems to satisfy the
user's preferences. We evaluate three CRSs by the proposed adversarial examples
on two datasets. Our results show that none of these systems are robust and
reliable to the adversarial examples.
- Abstract(参考訳): 標準推奨精度指標によれば、会話推薦システム(crss)は急速に改善されている。
しかし,システム修正入力データの提供により,システム攻撃を希望する正規ユーザや悪意のあるユーザを含むユーザとのインタラクションが堅牢であることを確認することが不可欠である。
本稿では,2つのカテゴリに4つのシナリオを含む対向評価手法を提案し,異なる入力データに対してシステムのロバスト性を評価するための対向例を自動的に生成する。
これらの逆の例を実行することで、異なる会話型レコメンダシステムのユーザの好みを満たす能力を比較することができる。
2つのデータセット上で提案した逆例を用いて3つのCRSを評価する。
その結果,いずれのシステムも,実例に対して堅牢で信頼性の高いものはないことがわかった。
関連論文リスト
- User-Controllable Recommendation via Counterfactual Retrospective and
Prospective Explanations [96.45414741693119]
本稿では,説明可能性と可制御性をシームレスに統合するユーザ制御型レコメンデータシステムを提案する。
反ファクト推論を通じて、ふりかえりと予測的な説明の両方を提供することで、ユーザーはシステムに対する制御をカスタマイズできる。
論文 参考訳(メタデータ) (2023-08-02T01:13:36Z) - Revealing User Familiarity Bias in Task-Oriented Dialogue via
Interactive Evaluation [8.96916785542554]
我々は,現実的なシナリオに対して,TODシステムがいかに脆弱であるかを明らかにするために,インタラクティブなユーザスタディを実施している。
我々の研究は、オープンゴール設定での会話がシステムの破滅的な失敗につながることを明らかにした。
我々は,システムの能力を超えても,システムがユーザの要求を処理するふりをする,新たな“予測”行動を発見した。
論文 参考訳(メタデータ) (2023-05-23T09:24:53Z) - Breaking Feedback Loops in Recommender Systems with Causal Inference [99.22185950608838]
近年の研究では、フィードバックループが推奨品質を損なう可能性があり、ユーザの振る舞いを均質化している。
本稿では、因果推論を用いてフィードバックループを確実に破壊するアルゴリズムCAFLを提案する。
従来の補正手法と比較して,CAFLは推奨品質を向上することを示す。
論文 参考訳(メタデータ) (2022-07-04T17:58:39Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳(メタデータ) (2022-04-21T15:52:14Z) - To Recommend or Not? A Model-Based Comparison of Item-Matching Processes [7.636113901205644]
推薦システムは、現代のオンラインプラットフォームの中心であるが、一般的な懸念は、彼らが社会を危険な方向に引っ張っていることだ。
私たちはこの課題に対してモデルベースのアプローチを採用し、比較可能なプロセスモデルの二分法を導入しています。
私たちの重要な発見は、レコメンデーターとオーガニックモデルが、個人レベルと社会的レベルの両方で劇的に異なる結果をもたらすことです。
論文 参考訳(メタデータ) (2021-10-21T20:37:56Z) - Membership Inference Attacks Against Recommender Systems [33.66394989281801]
我々は,会員推論のレンズを用いて,レコメンデータシステムのプライバシー漏洩を定量化するための最初の試みを行う。
私たちの攻撃はユーザレベルにありますが、データサンプルレベルではありません。
シャドーレコメンデータは、ラベル付きトレーニングデータを導出し、攻撃モデルを訓練する。
論文 参考訳(メタデータ) (2021-09-16T15:19:19Z) - Correcting the User Feedback-Loop Bias for Recommendation Systems [34.44834423714441]
本稿では,レコメンデーションシステムにおいて,ユーザのフィードバックループバイアスを修正するための系統的かつ動的手法を提案する。
本手法は,各ユーザの動的評価履歴の埋め込みを学習するためのディープラーニングコンポーネントを含む。
実世界のレコメンデーションシステムにおけるユーザフィードバックループバイアスの存在を実証的に検証した。
論文 参考訳(メタデータ) (2021-09-13T15:02:55Z) - Assessing Dialogue Systems with Distribution Distances [48.61159795472962]
そこで本研究では,対話と実世界の会話の分散的距離を計算し,対話システムの性能を計測する。
複数の対話コーパスを用いた実験により,提案手法は既存の指標よりも人間の判断によく相関することが示された。
論文 参考訳(メタデータ) (2021-05-06T10:30:13Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳(メタデータ) (2020-11-01T19:50:34Z) - A Robust Reputation-based Group Ranking System and its Resistance to
Bribery [8.300507994596416]
マルチパートレーティングワークを利用した評価に基づく新しいランキングシステムを提案する。
贈賄に対する抵抗性と最適な贈賄戦略の設計方法について検討する。
論文 参考訳(メタデータ) (2020-04-13T22:28:29Z) - PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative
Dialogue Systems [48.99561874529323]
オープンドメイン生成対話システムの評価には3つの方法がある。
体系的な比較が欠如しているため、どの指標がより効果的であるかは明らかでない。
本稿では,人間の判断との相関性を大幅に改善できる,新しい,実現可能な学習基準を提案する。
論文 参考訳(メタデータ) (2020-04-06T04:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。