論文の概要: SURF: Improving classifiers in production by learning from busy and noisy end users

• arxiv url: http://arxiv.org/abs/2010.05852v1
• Date: Mon, 12 Oct 2020 16:59:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 07:44:49.415608
• Title: SURF: Improving classifiers in production by learning from busy and noisy end users
• Title（参考訳）: SURF:多忙でノイズの多いエンドユーザから学ぶ生産における分類器の改善
• Authors: Joshua Lockhart, Samuel Assefa, Ayham Alajdad, Andrew Alexander, Tucker Balch, Manuela Veloso
• Abstract要約: 従来のクラウドソーシングアルゴリズムがこのユーザフィードバック設定で苦労していることを示す。 我々はこの非応答曖昧性に対処できる新しいアルゴリズム SURF を提案する。
• 参考スコア（独自算出の注目度）: 12.034109933050036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning classifiers inevitably make mistakes in production, perhaps mis-labeling an email, or flagging an otherwise routine transaction as fraudulent. It is vital that the end users of such a system are provided with a means of relabeling data points that they deem to have been mislabeled. The classifier can then be retrained on the relabeled data points in the hope of performance improvement. To reduce noise in this feedback data, well known algorithms from the crowdsourcing literature can be employed. However, the feedback setting provides a new challenge: how do we know what to do in the case of user non-response? If a user provides us with no feedback on a label then it can be dangerous to assume they implicitly agree: a user can be busy, lazy, or no longer a user of the system! We show that conventional crowdsourcing algorithms struggle in this user feedback setting, and present a new algorithm, SURF, that can cope with this non-response ambiguity.
• Abstract（参考訳）: 教師付き学習分類器は、必然的にプロダクションでミスを犯したり、eメールのラベルを間違えたり、あるいは通常のトランザクションに不正行為としてフラグを付ける。 このようなシステムのエンドユーザーは、誤ってラベル付けされたと判断されるデータポイントをリラベルする手段を備えることが不可欠である。 その後、性能改善を期待して、分類器をrelabeledデータポイントで再トレーニングすることができる。 このフィードバックデータのノイズを低減するために、クラウドソーシング文献からよく知られたアルゴリズムを用いることができる。 しかし、フィードバック設定は、新しい課題を与えている。 ユーザ応答しない場合、どうすればよいのかをどうやって知るのか? ユーザがラベルに対するフィードバックを提供していない場合、彼らが暗黙的に同意していると仮定することは危険です。 本稿では,従来のクラウドソーシングアルゴリズムがユーザフィードバック設定に苦慮していることを示し,この非応答曖昧性に対処可能な新しいアルゴリズムであるSURFを提案する。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• BadLabel: A Robust Perspective on Evaluating and Enhancing Label-noise Learning [113.8799653759137]
  我々はBadLabelと呼ばれる新しいラベルノイズタイプを導入し、既存のLNLアルゴリズムの性能を大幅に劣化させることができる。 BadLabelは、標準分類に対するラベルフライング攻撃に基づいて開発されている。 そこで本稿では, 各エポックにおいてラベルを逆向きに摂動させ, クリーンかつノイズの多いラベルの損失値を再び識別可能にする頑健なLNL法を提案する。
  論文  参考訳（メタデータ） (2023-05-28T06:26:23Z)
• Opinion Spam Detection: A New Approach Using Machine Learning and Network-Based Algorithms [2.062593640149623]
  オンラインレビューは、消費者が製品やサービスを評価し比較する上で重要な役割を果たす。 偽レビュー(オピニオンスパム)が普及し、顧客やサービスプロバイダに悪影響を及ぼしている。 本稿では,機械学習とメッセージパッシングアルゴリズムを組み合わせて,レビュアーをスパマーや良心として分類する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-26T15:27:46Z)
• Simulating Bandit Learning from User Feedback for Extractive Question Answering [51.97943858898579]
  教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。 当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T17:47:58Z)
• A new data augmentation method for intent classification enhancement and its application on spoken conversation datasets [23.495743195811375]
  本稿では,Nearest Neighbors Scores Improvement (NNSI)アルゴリズムを提案する。 NNSIは、高度に曖昧なサンプルを自動的に選択し、それらを高精度にラベルすることで、手動ラベリングの必要性を減らす。 2つの大規模実生活音声対話システムにおけるNNSIの使用を実演した。
  論文  参考訳（メタデータ） (2022-02-21T11:36:19Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback [62.997667081978825]
  本稿では,ユーザのフィードバックを考慮し,3つの戦略を用いて評価する手法を提案する。 ユーザからのフィードバックが制限されているにも関わらず(全体の20%以下)、我々の手法は最先端のアプローチと同じような結果が得られる。
  論文  参考訳（メタデータ） (2020-09-16T07:32:51Z)
• Some people aren't worth listening to: periodically retraining classifiers with feedback from a team of end users [14.944887950559172]
  文書分類はビジネス環境ではユビキタスですが、分類器のエンドユーザは、それをメンテナンスするチームと進行中のフィードバック-リトラクションループに従事します。 ラベル付きデータに対するフィードバックを提供する自律エージェントとしてエンドユーザーを考慮し、マルチエージェントの観点からこのフィードバック・リトレーニング・ループを考察する。 我々は、どのユーザが信頼できないかを学習し、フィードバックをループからフィルタリングし、その後のイテレーションのパフォーマンスを改善することができる分類器を実証する。
  論文  参考訳（メタデータ） (2020-04-27T20:18:29Z)
• Pattern Learning for Detecting Defect Reports and Improvement Requests in App Reviews [4.460358746823561]
  本研究では、レビューを欠陥報告と改善の要求として分類することで、この行動可能な洞察の欠如を狙う新しいアプローチに従う。 我々は,遺伝的プログラミングを通じて語彙・意味パターンを学習できる教師付きシステムを採用している。 自動学習パターンは手作業で生成したパターンよりも優れており、生成可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-19T08:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。