論文の概要: Data Annotations as Pedagogical Hints: From Subjective Labels to Critical Thinking
- arxiv url: http://arxiv.org/abs/2607.20149v1
- Date: Wed, 22 Jul 2026 13:51:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:38.096606
- Title: Data Annotations as Pedagogical Hints: From Subjective Labels to Critical Thinking
- Title（参考訳）: 教育的ヒントとしてのデータアノテーション:主観的ラベルから批判的思考へ
- Abstract要約: 機械学習コースでは、事前にラベル付けされたデータセットを使用して、人間のアノテーションの主観性を隠蔽することが多い。
これにより、AIデータとモデルを過度に信頼し、解釈の多様性を過小評価する学生が生まれる。
手動データアノテーションタスクが学生に主観的ラベリングについて教えるかどうかを検討した。
- 参考スコア（独自算出の注目度）: 15.463313028798767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning courses often use pre-labeled datasets, hiding the subjectivity of human annotation. This creates students with an overly trusting view of AI data and models, undervaluing interpretive diversity. We investigated whether manual data annotation tasks teach students about subjective labeling. Study Design: An annotation activity was implemented at two universities: Fontys (Netherlands) and IT University Copenhagen (Denmark). Students annotated skin lesion images for hair coverage on a 3-point scale. Surveys were collected from 43 participants measuring their understanding of annotation ambiguity, data quality, bias, fairness, implementation barriers, and pedagogical effectiveness. Key Findings: Self-reported familiarity with course content increased substantially across all concepts. Most students recognised that personal interpretation affects annotations. Students rated the activity as more effective than traditional lectures for understanding bias. Participants were motivated to learn more. Main Drawbacks: Emotional unease from viewing medical images was the primary issue. Many students still requested clearer guidelines to reduce disagreement, suggesting they hadn't internalised that disagreement from different perspectives is a learning feature, not a bug. Recommendations for Future Iterations: Ensure sufficient interpretive ambiguity in materials. Reduce repetitive annotation workload. Mitigate emotional unease from sensitive content. Explicitly frame disagreement as a learning opportunity rather than a problem to solve. Manual data annotations effectively teach students that human judgment shapes model behavior and that disagreement reflects domain complexity, not just noise.
- Abstract（参考訳）: 機械学習コースでは、事前にラベル付けされたデータセットを使用して、人間のアノテーションの主観性を隠蔽することが多い。
これにより、AIデータとモデルを過度に信頼し、解釈の多様性を過小評価する学生が生まれる。
手動データアノテーションタスクが学生に主観的ラベリングについて教えるかどうかを検討した。
研究デザイン:Fontys(オランダ)とIT University Copenhagen(デンマーク)の2つの大学でアノテーション活動が実施された。
学生は3点検診で皮膚病変の画像に3点検診を行った。
アノテーションの曖昧さ,データ品質,バイアス,公平性,実装障壁,教育的効果の理解度を測定した43名の参加者を対象に調査を行った。
重要な発見: コース内容に対する自己申告された親しみは、すべての概念において著しく増大した。
ほとんどの学生は、個人的解釈がアノテーションに影響を与えると認識した。
学生は、この活動はバイアスを理解するための伝統的な講義よりも効果的であると評価した。
参加者はもっと学ぶために動機づけられた。
主な欠点: 医用画像を見ることへの感情的不安が主な問題であった。
多くの学生は、意見の不一致を減らすためのより明確なガイドラインを要求しており、異なる観点からの意見の不一致が学習機能であり、バグではないと内在化していなかったことを示唆している。
今後のイテレーションの勧告: 材料における十分な解釈の曖昧さを保証する。
繰り返しアノテーションのワークロードを減らす。
センシティブなコンテンツから感情的な不安を和らげる。
解決すべき問題ではなく、学習機会としての明示的な意見の不一致。
手動データアノテーションは、人間の判断がモデルの振る舞いを形作っており、不一致はノイズだけでなくドメインの複雑さを反映していると学生に効果的に教える。
関連論文リスト
- Learning Moral Diversity: Modelling Individual Perspectives in Moral Classification of Texts [7.927346467214517]
我々は、アノテータ固有の特徴を学習するレイヤで事前訓練された言語モデルを拡張します。
我々のモデルは、個々のアノテーションの予測を改善し、アノテータの道徳的視点に対する意味のある洞察を明らかにする表現を与える。
論文 参考訳（メタデータ） (2026-06-22T02:19:23Z) - Students' Perceptions of Peer Grading [0.8941624592392746]
Reddit上で,文献と学生の議論を混成したテーマ分析を行った。
この研究は、107件の論文、114件のReddit投稿、300件のコメントから証拠を合成した。
学生はピアグレーディングを有益で問題のあるものとみなしている。
論文 参考訳（メタデータ） (2026-06-13T02:46:09Z) - Disentangling Learning from Judgment: Representation Learning for Open Response Analytics [0.0]
オープンエンドの回答は学習の中心であるが、自動スコアリングは生徒の書き方と教師の成績を混同することが多い。
本稿では、コンテンツ信号とレーダ傾向を分離し、分析を通じて判断を可視化し、監査可能にする分析ファーストフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-30T02:06:28Z) - Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。
異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。
意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
論文 参考訳（メタデータ） (2025-06-24T09:49:26Z) - FedIA: Federated Medical Image Segmentation with Heterogeneous Annotation Completeness [30.780654470392125]
フェデレーテッド・ラーニングは医療画像セグメンテーションの魅力的なパラダイムとして登場した。
本稿では,医療実践における課題である不完全アノテーションについて述べる。
この問題に対処するために、FedIAという新しいソリューションを紹介します。
論文 参考訳（メタデータ） (2024-07-02T14:08:55Z) - Understanding Before Recommendation: Semantic Aspect-Aware Review Exploitation via Large Language Models [53.337728969143086]
レコメンデーションシステムは、クリックやレビューのようなユーザとイテムのインタラクションを利用して表現を学習する。
従来の研究では、様々な側面や意図にまたがるユーザの嗜好をモデル化することで、推奨精度と解釈可能性を改善する。
そこで本研究では,意味的側面と認識的相互作用を明らかにするためのチェーンベースのプロンプト手法を提案する。
論文 参考訳（メタデータ） (2023-12-26T15:44:09Z) - Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks [9.110872603799839]
監督された分類は、人間によって注釈付けされたデータセットに大きく依存する。
毒性分類などの主観的なタスクでは、これらのアノテーションはラッカー間での合意が低くなることが多い。
本研究では、主観的分類タスクのためのtextbfAnnotator Awares for Texts (AART) を提案する。
論文 参考訳（メタデータ） (2023-11-16T10:18:32Z) - How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
本稿では,関数の感度に基づく包括的即時解析を提案する。
出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。
本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
論文 参考訳（メタデータ） (2023-11-13T10:52:01Z) - Visual Perturbation-aware Collaborative Learning for Overcoming the
Language Prior Problem [60.0878532426877]
本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。
具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。
2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
論文 参考訳（メタデータ） (2022-07-24T23:50:52Z) - Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。
これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。
暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
論文 参考訳（メタデータ） (2021-06-04T09:48:28Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
不変表現問題に対する新しい非絡み合い手法を提案する。
エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。
提案手法は5つの公開データセットで評価される。
論文 参考訳（メタデータ） (2020-03-12T11:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。