論文の概要: ARTICLE: Annotator Reliability Through In-Context Learning

• arxiv url: http://arxiv.org/abs/2409.12218v2
• Date: Fri, 20 Sep 2024 03:46:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 15:49:40.205312
• Title: ARTICLE: Annotator Reliability Through In-Context Learning
• Title（参考訳）: ARTICLE: 文脈学習によるアノテーションの信頼性
• Authors: Sujan Dutta, Deepak Pandita, Tharindu Cyril Weerasooriya, Marcos Zampieri, Christopher M. Homan, Ashiqur R. KhudaBukhsh,
• Abstract要約: 自己整合性を通じてアノテーションの品質を推定する,コンテキスト内学習フレームワークであるtexttARTICLEを提案する。 この結果から,TexttARTICLEは信頼性の高いアノテータを識別する堅牢な手法として利用でき,データ品質が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 18.818071256242327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring annotator quality in training and evaluation data is a key piece of machine learning in NLP. Tasks such as sentiment analysis and offensive speech detection are intrinsically subjective, creating a challenging scenario for traditional quality assessment approaches because it is hard to distinguish disagreement due to poor work from that due to differences of opinions between sincere annotators. With the goal of increasing diverse perspectives in annotation while ensuring consistency, we propose \texttt{ARTICLE}, an in-context learning (ICL) framework to estimate annotation quality through self-consistency. We evaluate this framework on two offensive speech datasets using multiple LLMs and compare its performance with traditional methods. Our findings indicate that \texttt{ARTICLE} can be used as a robust method for identifying reliable annotators, hence improving data quality.
• Abstract（参考訳）: トレーニングおよび評価データにおけるアノテータの品質を保証することは、NLPにおける機械学習の重要な部分である。 感情分析や攻撃的音声検出といった課題は本質的に主観的であり、誠実なアノテータ間の意見の相違による作業不足による不一致の区別が困難であるため、従来の品質評価アプローチでは難しいシナリオを生み出す。 一貫性を確保しつつアノテーションの多様な視点を増大させることを目的として,自己整合性を通じてアノテーションの品質を推定するインコンテキストラーニング(ICL)フレームワークである‘texttt{ARTICLE} を提案する。 我々は,複数のLLMを用いて2つの攻撃的音声データセット上でこの枠組みを評価し,その性能を従来の手法と比較した。 以上の結果から, 信頼性アノテータを識別する堅牢な手法として, <texttt{ARTICLE} が利用可能であることが示唆された。

関連論文リスト

• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• Multi-Facet Counterfactual Learning for Content Quality Evaluation [48.73583736357489]
  コンテンツ品質評価の複数の側面を知覚する評価器を効率的に構築する枠組みを提案する。 我々は,コントラスト学習と教師付き学習に基づく共同学習戦略を活用し,評価者が異なる品質面を区別できるようにする。
  論文  参考訳（メタデータ） (2024-10-10T08:04:10Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and Improvement of Large Language Models [4.953092503184905]
  この研究は、LLM(Large Language Models)生成したテキストの一貫性を評価し改善する自動化フレームワークであるDCRを提案する。 本稿では,DCEからの出力を解釈可能な数値スコアに変換する自動計量変換器(AMC)を提案する。 また,本手法は出力不整合の90%近くを著しく低減し,効果的な幻覚緩和の可能性を示唆している。
  論文  参考訳（メタデータ） (2024-01-04T08:34:16Z)
• The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus [10.135749005469686]
  説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。 我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。 我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
  論文  参考訳（メタデータ） (2023-02-14T18:59:02Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
  本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。 本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。 また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
  論文  参考訳（メタデータ） (2022-01-04T04:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。