論文の概要: Identifying Chinese Opinion Expressions with Extremely-Noisy Crowdsourcing Annotations

• arxiv url: http://arxiv.org/abs/2204.10714v1
• Date: Fri, 22 Apr 2022 14:08:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 13:20:11.459654
• Title: Identifying Chinese Opinion Expressions with Extremely-Noisy Crowdsourcing Annotations
• Title（参考訳）: 極めてノイズの多いクラウドソーシングアノテーションによる中国の意見表現の同定
• Authors: Xin Zhang, Guangwei Xu, Yueheng Sun, Meishan Zhang, Xiaobin Wang, Min Zhang
• Abstract要約: 本研究では,非常にノイズの多いクラウドソーシングアノテーションを用いて,中国語の意見表現識別(OEI)を調査し,非常に低コストでデータセットを構築する。 我々は,アノテータ・アダプタモデルを,クラウドアノテータの観点から,すべてのアノテーションをゴールドスタンダードとして扱うことで訓練し,すべてのアノテータの混合である合成専門家を用いてモデルをテストする。 構築したデータセット上でのシミュレーション実験により,クラウドソーシングはOEIにとって極めて有望であることが示された。
• 参考スコア（独自算出の注目度）: 27.149121947087536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works of opinion expression identification (OEI) rely heavily on the quality and scale of the manually-constructed training corpus, which could be extremely difficult to satisfy. Crowdsourcing is one practical solution for this problem, aiming to create a large-scale but quality-unguaranteed corpus. In this work, we investigate Chinese OEI with extremely-noisy crowdsourcing annotations, constructing a dataset at a very low cost. Following zhang et al. (2021), we train the annotator-adapter model by regarding all annotations as gold-standard in terms of crowd annotators, and test the model by using a synthetic expert, which is a mixture of all annotators. As this annotator-mixture for testing is never modeled explicitly in the training phase, we propose to generate synthetic training samples by a pertinent mixup strategy to make the training and testing highly consistent. The simulation experiments on our constructed dataset show that crowdsourcing is highly promising for OEI, and our proposed annotator-mixup can further enhance the crowdsourcing modeling.
• Abstract（参考訳）: 最近のオピニオン表現識別(oei)は、手作業で構築されたトレーニングコーパスの品質と規模に大きく依存しているため、満足するのは難しい。 クラウドソーシングは,大規模で高品質なコーパスの構築を目的とした,実用的なソリューションのひとつだ。 本研究では,非常にノイズの多いクラウドソーシングアノテーションを用いて中国語のOEIを調査し,非常に低コストでデータセットを構築する。 zhangら(2021年)に従い、全てのアノテーションを、群衆の注釈子の観点から金本位制として扱うことにより、アノテーション-適応モデルを訓練し、全ての注釈子を混合した合成専門家を用いてモデルをテストする。 本手法は, 訓練段階では明示的にモデル化されないため, 訓練とテストの一貫性を高めるために, 適切な混合戦略により合成訓練サンプルを生成することを提案する。 構築したデータセットにおけるシミュレーション実験により,クラウドソーシングはoeiにとって非常に有望であり,提案手法はクラウドソーシングモデリングをさらに強化する。

関連論文リスト

• Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
  本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。 逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。 アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-12-22T15:16:44Z)
• Difficult for Whom? A Study of Japanese Lexical Complexity [12.038720850970213]
  このアノテーションを部分的に複製することで,近年の日本人LCPデータセットが対象とする個体群を代表していることを示す。 別の再注釈により、中国語話者は、日中語彙によって、複雑さを異なる形で知覚していることが示される。 グループで訓練されたモデルの平均は、CWIタスクの個々のモデルと似ているが、個人にとって優れたLCP性能を達成することは困難である。
  論文  参考訳（メタデータ） (2024-10-24T09:18:53Z)
• Investigating a Benchmark for Training-set free Evaluation of Linguistic Capabilities in Machine Reading Comprehension [12.09297288867446]
  合成課題集合上でのトレーニングセット自由設定において最適化モデルを評価するためのフレームワークについて検討する。 生成手法の単純さにもかかわらず、データは自然性や語彙の多様性に関してクラウドソースのデータセットと競合する。 我々は、さらに実験を行い、最先端の言語モデルに基づくMRCシステムが、挑戦セットを正しく成功させるために学習できることを示します。
  論文  参考訳（メタデータ） (2024-08-09T12:23:36Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning [37.843051974342124]
  実世界の様々な資源から派生した,厳密な人的検証を行う新しい中国語指導調律データセットであるCOIG-CQIAを紹介する。 我々はCOIG-CQIAに関する広範な実験を行い、それらを強力なベースラインモデルやデータセットと比較する。 実験の結果,COIG-CQIAでトレーニングしたモデルは,様々なベンチマークで高い競争性能を達成できた。
  論文  参考訳（メタデータ） (2024-03-26T19:24:18Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Fusing Models with Complementary Expertise [42.099743709292866]
  データ分布の相補的な知識で専門家モデルの出力を融合させるFoE(Fusion of Experts)問題を考える。 我々の方法は差別的タスクと生成的タスクの両方に当てはまる。 テスト時に専門家によるモデル評価の回数を減らすことが望まれる「フルーガル」設定にメソッドを拡張します。
  論文  参考訳（メタデータ） (2023-10-02T18:31:35Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Automatic Construction of Evaluation Suites for Natural Language Generation Datasets [17.13484629172643]
  我々は、制御された摂動を生成し、テキストからスカラー、テキストからテキストへ、あるいはデータからテキストへ設定したサブセットを識別するフレームワークを開発する。 80個のチャレンジセットからなる評価スイートを提案し、現在の世代モデルの限界に光を当てることを可能にした分析の種類を実証する。
  論文  参考訳（メタデータ） (2021-06-16T18:20:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。