論文の概要: Multi-label and Multi-target Sampling of Machine Annotation for Computational Stance Detection

• arxiv url: http://arxiv.org/abs/2311.04495v1
• Date: Wed, 8 Nov 2023 06:54:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 16:51:27.230942
• Title: Multi-label and Multi-target Sampling of Machine Annotation for Computational Stance Detection
• Title（参考訳）: 計算機姿勢検出のための機械アノテーションのマルチラベル・マルチターゲットサンプリング
• Authors: Zhengyuan Liu, Hai Leong Chieu, Nancy F. Chen
• Abstract要約: アノテーションの品質を最適化するために,マルチラベルおよびマルチターゲットサンプリング戦略を導入する。 ベンチマークスタンス検出コーパスの実験結果から,本手法は性能と学習効率を大幅に向上させることができることが示された。
• 参考スコア（独自算出の注目度）: 44.90471123149513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data collection from manual labeling provides domain-specific and task-aligned supervision for data-driven approaches, and a critical mass of well-annotated resources is required to achieve reasonable performance in natural language processing tasks. However, manual annotations are often challenging to scale up in terms of time and budget, especially when domain knowledge, capturing subtle semantic features, and reasoning steps are needed. In this paper, we investigate the efficacy of leveraging large language models on automated labeling for computational stance detection. We empirically observe that while large language models show strong potential as an alternative to human annotators, their sensitivity to task-specific instructions and their intrinsic biases pose intriguing yet unique challenges in machine annotation. We introduce a multi-label and multi-target sampling strategy to optimize the annotation quality. Experimental results on the benchmark stance detection corpora show that our method can significantly improve performance and learning efficacy.
• Abstract（参考訳）: 手動ラベリングによるデータ収集は、データ駆動アプローチのためのドメイン固有かつタスク整合性のある監視を提供し、自然言語処理タスクにおいて適切なパフォーマンスを達成するためには、十分なアノテートされたリソースの臨界質量が必要である。 しかし、特にドメインの知識、微妙な意味的特徴の取り込み、そして推論のステップが必要な場合、手動アノテーションは、時間と予算の観点からスケールアップするのがしばしば困難です。 本稿では,大規模言語モデルを用いた自動ラベリングによる計算姿勢検出の有効性について検討する。 大規模言語モデルは人間のアノテーションの代替として強い可能性を示すが、タスク固有の命令に対する感度と固有のバイアスは、マシンアノテーションにおいて興味深いがユニークな課題をもたらすことを実証的に観察する。 アノテーションの品質を最適化するために,マルチラベルおよびマルチターゲットサンプリング戦略を導入する。 ベンチマーク姿勢検出コーパスの実験結果から,本手法は性能と学習効果が有意に向上することが示された。

関連論文リスト

• Leveraging Mixture of Experts for Improved Speech Deepfake Detection [53.69740463004446]
  スピーチのディープフェイクは、個人のセキュリティとコンテンツの信頼性に重大な脅威をもたらす。 本研究では,Mixture of Expertsアーキテクチャを用いた音声深度検出性能の向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T13:24:03Z)
• Leveraging Encoder-only Large Language Models for Mobile App Review Feature Extraction [4.879919005707447]
  本研究では,エンコーダのみの大規模言語モデルがモバイルアプリレビューから特徴抽出を促進できるという仮説を考察する。 クラウドソーシングされたアノテーションを産業的文脈から活用することにより、特徴抽出を教師付きトークン分類タスクとして再定義する。 実験により,抽出した特徴の精度とリコールが向上し,性能効率が向上することが確認された。
  論文  参考訳（メタデータ） (2024-08-02T07:31:57Z)
• Weakly-Supervised Cross-Domain Segmentation of Electron Microscopy with Sparse Point Annotation [1.124958340749622]
  カウント,検出,セグメンテーションタスク間の相関を利用したマルチタスク学習フレームワークを提案する。 ラベル拡張のためのクロスポジションカット・アンド・ペーストを開発し,エントロピーに基づく擬似ラベル選択を行う。 提案手法は, UDA法を著しく上回り, 教師付き手法と同等の性能を発揮する。
  論文  参考訳（メタデータ） (2024-03-31T12:22:23Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• Deep Active Learning with Noisy Oracle in Object Detection [5.5165579223151795]
  ディープオブジェクト検出のためのラベルレビューモジュールを含む複合能動学習フレームワークを提案する。 アクティブなデータセットで部分的にノイズの多いアノテーションを修正するためにアノテーションの予算の一部を利用することで、モデルの性能が早期に向上することを示します。 本実験では,同一のアノテーション予算でラベルレビューを組み込むことで,最大4.5mAPポイントのオブジェクト検出性能の向上を実現した。
  論文  参考訳（メタデータ） (2023-09-30T13:28:35Z)
• ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
  本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。 本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
  論文  参考訳（メタデータ） (2022-05-10T15:39:11Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Pretext Tasks selection for multitask self-supervised speech representation learning [23.39079406674442]
  提案手法では,候補群の中からプレテキストタスク群を選択する手法を提案する。 話者認識と自動音声認識の実験により,我々のアプローチが検証された。
  論文  参考訳（メタデータ） (2021-07-01T16:36:29Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。