論文の概要: Identifying Chinese Opinion Expressions with Extremely-Noisy
Crowdsourcing Annotations
- arxiv url: http://arxiv.org/abs/2204.10714v1
- Date: Fri, 22 Apr 2022 14:08:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-25 13:20:11.459654
- Title: Identifying Chinese Opinion Expressions with Extremely-Noisy
Crowdsourcing Annotations
- Title(参考訳): 極めてノイズの多いクラウドソーシングアノテーションによる中国の意見表現の同定
- Authors: Xin Zhang, Guangwei Xu, Yueheng Sun, Meishan Zhang, Xiaobin Wang, Min
Zhang
- Abstract要約: 本研究では,非常にノイズの多いクラウドソーシングアノテーションを用いて,中国語の意見表現識別(OEI)を調査し,非常に低コストでデータセットを構築する。
我々は,アノテータ・アダプタモデルを,クラウドアノテータの観点から,すべてのアノテーションをゴールドスタンダードとして扱うことで訓練し,すべてのアノテータの混合である合成専門家を用いてモデルをテストする。
構築したデータセット上でのシミュレーション実験により,クラウドソーシングはOEIにとって極めて有望であることが示された。
- 参考スコア(独自算出の注目度): 27.149121947087536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works of opinion expression identification (OEI) rely heavily on the
quality and scale of the manually-constructed training corpus, which could be
extremely difficult to satisfy. Crowdsourcing is one practical solution for
this problem, aiming to create a large-scale but quality-unguaranteed corpus.
In this work, we investigate Chinese OEI with extremely-noisy crowdsourcing
annotations, constructing a dataset at a very low cost. Following zhang et al.
(2021), we train the annotator-adapter model by regarding all annotations as
gold-standard in terms of crowd annotators, and test the model by using a
synthetic expert, which is a mixture of all annotators. As this
annotator-mixture for testing is never modeled explicitly in the training
phase, we propose to generate synthetic training samples by a pertinent mixup
strategy to make the training and testing highly consistent. The simulation
experiments on our constructed dataset show that crowdsourcing is highly
promising for OEI, and our proposed annotator-mixup can further enhance the
crowdsourcing modeling.
- Abstract(参考訳): 最近のオピニオン表現識別(oei)は、手作業で構築されたトレーニングコーパスの品質と規模に大きく依存しているため、満足するのは難しい。
クラウドソーシングは,大規模で高品質なコーパスの構築を目的とした,実用的なソリューションのひとつだ。
本研究では,非常にノイズの多いクラウドソーシングアノテーションを用いて中国語のOEIを調査し,非常に低コストでデータセットを構築する。
zhangら(2021年)に従い、全てのアノテーションを、群衆の注釈子の観点から金本位制として扱うことにより、アノテーション-適応モデルを訓練し、全ての注釈子を混合した合成専門家を用いてモデルをテストする。
本手法は, 訓練段階では明示的にモデル化されないため, 訓練とテストの一貫性を高めるために, 適切な混合戦略により合成訓練サンプルを生成することを提案する。
構築したデータセットにおけるシミュレーション実験により,クラウドソーシングはoeiにとって非常に有望であり,提案手法はクラウドソーシングモデリングをさらに強化する。
関連論文リスト
- Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - An Experimental Design Framework for Label-Efficient Supervised
Finetuning of Large Language Models [56.494109292472835]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。
アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。
本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文 参考訳(メタデータ) (2024-01-12T16:56:54Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - CLEVA: Chinese Language Models EVAluation Platform [92.42981537317817]
CLEVAは,中国のLLMを階層的に評価するためのユーザフレンドリーなプラットフォームである。
当社のプラットフォームでは,LLMのパフォーマンスをさまざまな次元で評価するために標準化されたワークフローを採用し,定期的に競合するリーダボードを更新しています。
汚染を軽減するため、CLEVAは、新しいデータのかなりの割合をキュレーションし、各リーダーボードラウンドのユニークなサブセットを保証するサンプリング戦略を開発する。
マウスクリック数回とモデルAPIを必要とする使い勝手の良いインターフェースと、最小限のコーディングで徹底的な評価を行うことができる。
論文 参考訳(メタデータ) (2023-08-09T09:11:31Z) - GPT Self-Supervision for a Better Data Annotator [22.598300095822026]
本稿では,GPT(Generative Pretrained Transformer)自己スーパービジョンアノテーション手法を提案する。
提案手法は1ショットのチューニングフェーズと生成フェーズから構成される。
復元されたデータと元のデータのアライメントスコアは、プロセスを洗練するための自己超越ナビゲータとして機能する。
論文 参考訳(メタデータ) (2023-06-07T11:33:14Z) - Needle in a Haystack: An Analysis of High-Agreement Workers on MTurk for
Summarization [29.2233772700673]
高品質なアマゾン・メカニカル・トルコ人労働者を2段階のパイプラインで採用する方法について検討する。
評価を行う前に、サブパー労働者のフィルタリングに成功できることが示される。
当社の作業員は、彼らとCloudResearchの作業員の間で強いコンセンサスを示していますが、データのサブセットに関する専門家の判断との整合性は期待通りではありません。
論文 参考訳(メタデータ) (2022-12-20T16:25:42Z) - Model ensemble instead of prompt fusion: a sample-specific knowledge
transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。
我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。
SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文 参考訳(メタデータ) (2022-10-23T01:33:16Z) - Automatic Construction of Evaluation Suites for Natural Language
Generation Datasets [17.13484629172643]
我々は、制御された摂動を生成し、テキストからスカラー、テキストからテキストへ、あるいはデータからテキストへ設定したサブセットを識別するフレームワークを開発する。
80個のチャレンジセットからなる評価スイートを提案し、現在の世代モデルの限界に光を当てることを可能にした分析の種類を実証する。
論文 参考訳(メタデータ) (2021-06-16T18:20:58Z) - Learning from Crowds by Modeling Common Confusions [33.92690297826468]
クラウドソーシングは、大量のラベル付きデータを低コストで取得する実用的な方法を提供する。
しかしアノテータのアノテーションの品質は様々である。
アノテーションノイズを共通のノイズと個々のノイズに分解する新しい視点を提供する。
論文 参考訳(メタデータ) (2020-12-24T01:13:23Z) - Linguistically-Informed Transformations (LIT): A Method for
Automatically Generating Contrast Sets [13.706520309917634]
コントラスト集合を自動生成するLinguistically-Informed Transformation (LIT) 法を提案する。
実験によると、現在の事前訓練された言語モデルは、自動生成されたコントラストセットで苦労している。
トレーニングデータを拡張するためにLITを適用してコントラストセットのモデルの性能を改善するが、元のデータの性能には影響しない。
論文 参考訳(メタデータ) (2020-10-16T18:23:05Z) - Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。
テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文 参考訳(メタデータ) (2020-04-21T16:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。