論文の概要: Human-LLM Hybrid Text Answer Aggregation for Crowd Annotations

• arxiv url: http://arxiv.org/abs/2410.17099v1
• Date: Tue, 22 Oct 2024 15:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:36.120867
• Title: Human-LLM Hybrid Text Answer Aggregation for Crowd Annotations
• Title（参考訳）: クラウドアノテーションに対するHuman-LLMハイブリッドテキストアンサーアグリゲーション
• Authors: Jiyi Li,
• Abstract要約: データアノテーションタスクのLarge Language Models (LLM) は研究者の関心を集めている。 本稿では,集合体としてのLCMsの有効性について検討する。 本稿では,Creator-Aggregator Multi-Stage (CAMS) クラウドソーシングフレームワークを用いたHuman-LLMハイブリッドテキスト応答アグリゲーション手法を提案する。
• 参考スコア（独自算出の注目度）: 6.871295804618002
• License:
• Abstract: The quality is a crucial issue for crowd annotations. Answer aggregation is an important type of solution. The aggregated answers estimated from multiple crowd answers to the same instance are the eventually collected annotations, rather than the individual crowd answers themselves. Recently, the capability of Large Language Models (LLMs) on data annotation tasks has attracted interest from researchers. Most of the existing studies mainly focus on the average performance of individual crowd workers; several recent works studied the scenarios of aggregation on categorical labels and LLMs used as label creators. However, the scenario of aggregation on text answers and the role of LLMs as aggregators are not yet well-studied. In this paper, we investigate the capability of LLMs as aggregators in the scenario of close-ended crowd text answer aggregation. We propose a human-LLM hybrid text answer aggregation method with a Creator-Aggregator Multi-Stage (CAMS) crowdsourcing framework. We make the experiments based on public crowdsourcing datasets. The results show the effectiveness of our approach based on the collaboration of crowd workers and LLMs.
• Abstract（参考訳）: 群衆のアノテーションにとって、品質は重要な問題です。 解答アグリゲーションは重要なタイプの解である。 同じ事例に対する複数の群衆の回答から推定される集約された回答は、個々の群衆の回答ではなく、最終的に収集されたアノテーションである。 近年,データアノテーションタスクにおけるLLM(Large Language Models)の機能に研究者の関心が寄せられている。 既存の研究の大部分は、個々の群衆労働者の平均的なパフォーマンスに焦点を当てており、近年のいくつかの研究は、分類ラベルとラベル作成に使用されるLCMの集約のシナリオについて研究している。 しかし,テキスト回答における集約のシナリオや,アグリゲータとしてのLLMの役割については,まだよく研究されていない。 本稿では,集合体としてのLCMsの有効性について検討する。 本稿では,Creator-Aggregator Multi-Stage (CAMS) クラウドソーシングフレームワークを用いたHuman-LLMハイブリッドテキスト応答アグリゲーション手法を提案する。 公開クラウドソーシングデータセットに基づいて実験を行う。 その結果,群集労働者とLLMの協働によるアプローチの有効性が示された。

関連論文リスト

• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• SkillAggregation: Reference-free LLM-Dependent Aggregation [14.46141987797362]
  大規模言語モデル(LLM)は、NLPタスクの評価にますます使用される。 最近の研究は、審査員が性能を向上させるために複数のLLMを使うことを示唆している。 この研究は、参照ラベルが使用できない複数のシステムからの予測を集約することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-14T07:13:47Z)
• Multi-LLM QA with Embodied Exploration [55.581423861790945]
  未知環境における質問応答におけるマルチエンボディードLEMエクスプローラ(MELE)の利用について検討する。 複数のLSMベースのエージェントが独立して家庭用環境に関する質問を探索し、回答する。 各問合せに対して1つの最終回答を生成するために,異なるアグリゲーション手法を解析する。
  論文  参考訳（メタデータ） (2024-06-16T12:46:40Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• A General Model for Aggregating Annotations Across Simple, Complex, and Multi-Object Annotation Tasks [51.14185612418977]
  ラベルの品質を改善するための戦略は、複数のアノテータに同じ項目にラベルを付け、ラベルを集約するように求めることである。 特定のタスクに対して様々なbespokeモデルが提案されているが、様々な複雑なタスクを一般化するアグリゲーションメソッドを導入するのはこれが初めてである。 本論では,3つの新たな研究課題について検討し,今後の課題を概説する。
  論文  参考訳（メタデータ） (2023-12-20T21:28:35Z)
• Let the LLMs Talk: Simulating Human-to-Human Conversational QA via Zero-Shot LLM-to-LLM Interactions [19.365615476223635]
  対話型質問応答システムの目的は,ユーザとの対話によって情報を取得する対話型検索システムを作ることである。 既存の作業では、人間の注釈を使って質問者(学生)と回答者(教師)の役割を演じる。 教師と学生のインタラクションをシミュレーションするためにゼロショット学習者LLMを用いたシミュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-05T17:38:02Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering [9.158919909909146]
  本稿では,LLMが望ましくない出力を通知するなど,ラベル付きデータを活用する新しい手法を提案する。 3つのマルチスパン質問応答データセットとキーフレーズ抽出データセットの実験により、我々の新しいプロンプト戦略はLLMの文脈内学習性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2023-06-07T15:20:24Z)
• Providing Insights for Open-Response Surveys via End-to-End Context-Aware Clustering [2.6094411360258185]
  本研究では,オープンレスポンスサーベイデータ中の組込み意味パターンを抽出し,集約し,省略する,エンド・ツー・エンドのコンテキスト認識フレームワークを提案する。 我々のフレームワークは、テキストデータを意味ベクトルにエンコードするために、事前訓練された自然言語モデルに依存している。 本フレームワークは,調査データから最も洞察に富んだ情報を抽出するプロセスを自動化することで,大規模化のコストを削減する。
  論文  参考訳（メタデータ） (2022-03-02T18:24:10Z)
• Multi-Perspective Abstractive Answer Summarization [76.10437565615138]
  コミュニティ質問応答フォーラムには、幅広い質問に対する回答の豊富なリソースが含まれている。 マルチパースペクティブな回答要約の目標は、答えのすべての観点を含む要約を作成することである。 本研究は,多視点抽象要約を自動生成する新しいデータセット作成手法を提案する。
  論文  参考訳（メタデータ） (2021-04-17T13:15:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。