論文の概要: Help the machine to help you: an evaluation in the wild of egocentric data cleaning via skeptical learning
- arxiv url: http://arxiv.org/abs/2510.23635v1
- Date: Fri, 24 Oct 2025 10:01:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:36.302504
- Title: Help the machine to help you: an evaluation in the wild of egocentric data cleaning via skeptical learning
- Title(参考訳): マシンがあなたを助ける:懐疑的学習によるエゴセントリックなデータのクリーニングの野望の評価
- Authors: Andrea Bontempelli, Matteo Busso, Leonardo Javier Malcotti, Fausto Giunchiglia,
- Abstract要約: この調査では、大学生が4週間にわたってデバイス上でiLogのモバイルアプリケーションを使用する。
その結果、ユーザの努力とデータ品質の適切なバランスを見つけるという課題が浮かび上がっています。
- 参考スコア(独自算出の注目度): 16.786302712026153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Any digital personal assistant, whether used to support task performance, answer questions, or manage work and daily life, including fitness schedules, requires high-quality annotations to function properly. However, user annotations, whether actively produced or inferred from context (e.g., data from smartphone sensors), are often subject to errors and noise. Previous research on Skeptical Learning (SKEL) addressed the issue of noisy labels by comparing offline active annotations with passive data, allowing for an evaluation of annotation accuracy. However, this evaluation did not include confirmation from end-users, the best judges of their own context. In this study, we evaluate SKEL's performance in real-world conditions with actual users who can refine the input labels based on their current perspectives and needs. The study involves university students using the iLog mobile application on their devices over a period of four weeks. The results highlight the challenges of finding the right balance between user effort and data quality, as well as the potential benefits of using SKEL, which include reduced annotation effort and improved quality of collected data.
- Abstract(参考訳): デジタルパーソナルアシスタントは、タスクパフォーマンスをサポートするか、質問に答えるか、あるいはフィットネススケジュールを含む仕事と日常生活を管理するために使われ、適切に機能するために高品質なアノテーションを必要とする。
しかし、アクティブに生成または推測されるユーザアノテーション(例えば、スマートフォンセンサーのデータ)は、しばしばエラーやノイズにさらされる。
懐疑的学習(SKEL)に関する従来の研究は、オフラインのアクティブアノテーションと受動的データを比較してノイズラベルの問題に対処し、アノテーションの精度の評価を可能にした。
しかし、この評価にはエンドユーザーからの確認は含まれなかった。
本研究では,実環境におけるSKELの性能を,現状の視点とニーズに基づいて評価する。
この調査では、大学生が4週間にわたってデバイス上でiLogのモバイルアプリケーションを使用する。
その結果,ユーザの努力とデータ品質の適切なバランスを見つける上での課題に加えて,アノテーションの労力の削減や収集データの品質向上など,SKELの使用による潜在的なメリットも浮き彫りにされている。
関連論文リスト
- Improving annotator selection in Active Learning using a mood and fatigue-aware Recommender System [0.0]
本研究は,アクティブラーニング(AL)におけるクエリ毎に最適なアノテータを選択することの課題を克服することに焦点を当てる。
ALはラベル付きデータを取得する際のコストと時間に関連する課題を認識し、ラベル付きデータの数を削減します。
クエリアノテータペアの戦略の多くは、ムード、注意、モチベーション、疲労レベルといった生産性に影響を与える内部要因を考慮していない。
論文 参考訳(メタデータ) (2025-07-31T17:41:30Z) - Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳(メタデータ) (2024-06-26T05:30:21Z) - Ambiguous Annotations: When is a Pedestrian not a Pedestrian? [6.974741712647656]
割り当てられたラベルが正しいかどうかを客観的に決定できるとは限らない。
実験の結果,トレーニングから高度にあいまいなデータを除くと,モデルの性能が向上することがわかった。
不明瞭なインスタンスを安全に取り除き、トレーニングデータの保持された代表性を確保するためには、調査中のデータセットとクラスの特性を理解することが不可欠である。
論文 参考訳(メタデータ) (2024-05-14T17:44:34Z) - Deep Active Learning with Noisy Oracle in Object Detection [5.5165579223151795]
ディープオブジェクト検出のためのラベルレビューモジュールを含む複合能動学習フレームワークを提案する。
アクティブなデータセットで部分的にノイズの多いアノテーションを修正するためにアノテーションの予算の一部を利用することで、モデルの性能が早期に向上することを示します。
本実験では,同一のアノテーション予算でラベルレビューを組み込むことで,最大4.5mAPポイントのオブジェクト検出性能の向上を実現した。
論文 参考訳(メタデータ) (2023-09-30T13:28:35Z) - A Matter of Annotation: An Empirical Study on In Situ and Self-Recall Activity Annotations from Wearable Sensors [56.554277096170246]
In-the-wildデータ収集に焦点をあてたユーザスタディにおいて,一般的な4つのアノテーション手法の評価と対比を行う実験的検討を行った。
実際の記録プロセス中に参加者がアノテートするユーザ主導のin situアノテーションと、各日の終わりに参加者が振り返ってアノテートするリコールメソッドの両方に対して、参加者は自身のアクティビティクラスと対応するラベルを選択できる柔軟性を持っていた。
論文 参考訳(メタデータ) (2023-05-15T16:02:56Z) - Debiased Pseudo Labeling in Self-Training [77.83549261035277]
ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。
ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。
疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
論文 参考訳(メタデータ) (2022-02-15T02:14:33Z) - Toward Effective Automated Content Analysis via Crowdsourcing [6.89765603922453]
オンラインワーカー向けの品質認識型セマンティックデータアノテーションシステムを提案する。
品質スコアによって定量化された労働者のパフォーマンスに対するタイムリーなフィードバックにより、より情報のあるオンライン労働者は、ラベル付けの品質を維持することができる。
その結果,研究者は主観的意味的特徴の質の高い回答を大規模に収集できることが示唆された。
論文 参考訳(メタデータ) (2021-01-12T17:14:18Z) - How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。
我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
論文 参考訳(メタデータ) (2020-03-31T16:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。