論文の概要: Labels Generated by Large Language Models Help Measure People's Empathy in Vitro

• arxiv url: http://arxiv.org/abs/2501.00691v2
• Date: Wed, 16 Jul 2025 07:55:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 14:40:09.211131
• Title: Labels Generated by Large Language Models Help Measure People's Empathy in Vitro
• Title（参考訳）: 大規模言語モデルが生成するラベルは、人の生体内共感を測定するのに役立つ
• Authors: Md Rakibul Hasan, Yue Yao, Md Zakir Hossain, Aneesh Krishna, Imre Rudas, Shafin Rahman, Tom Gedeon,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を用いて主流モデルの教師あり学習を改善することを提案する。 我々は,クラウドソースラベルをLCMラベルに置き換えたり補足したりすることで,統計的に有意な精度向上を実現していることを示す。 本稿では,評価指標の選択と人口統計バイアスを更に分析し,より公平な共感型コンピューティングモデルの開発を支援する。
• 参考スコア（独自算出の注目度）: 9.536979155245026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have revolutionised many fields, with LLM-as-a-service (LLMSaaS) offering accessible, general-purpose solutions without costly task-specific training. In contrast to the widely studied prompt engineering for directly solving tasks (in vivo), this paper explores LLMs' potential for in-vitro applications: using LLM-generated labels to improve supervised training of mainstream models. We examine two strategies - (1) noisy label correction and (2) training data augmentation - in empathy computing, an emerging task to predict psychology-based questionnaire outcomes from inputs like textual narratives. Crowdsourced datasets in this domain often suffer from noisy labels that misrepresent underlying empathy. We show that replacing or supplementing these crowdsourced labels with LLM-generated labels, developed using psychology-based scale-aware prompts, achieves statistically significant accuracy improvements. Notably, the RoBERTa pre-trained language model (PLM) trained with noise-reduced labels yields a state-of-the-art Pearson correlation coefficient of 0.648 on the public NewsEmp benchmarks. This paper further analyses evaluation metric selection and demographic biases to help guide the future development of more equitable empathy computing models. Code and LLM-generated labels are available at https://github.com/hasan-rakibul/LLMPathy.
• Abstract（参考訳）: LLM-as-a-service (LLMSaaS)は、タスク固有のトレーニングを伴わずに、アクセス可能で汎用的なソリューションを提供する。 タスクを直接解くためのプロンプトエンジニアリング (in vivo) が広く研究されているのとは対照的に,本研究では,LLM を用いたインビトロ応用の可能性を探究する。 本研究では,(1)ノイズラベル補正と(2)学習データ増強の2つの戦略を共感コンピューティングにおいて検討する。 この領域のクラウドソースデータセットは、根底にある共感を誤って表現するノイズの多いラベルに悩まされることが多い。 我々は,これらのクラウドソースラベルを,心理学に基づくスケール・アウェア・プロンプトを用いて開発し,統計的に有意な精度向上を実現していることを示す。 特に、ノイズ低減ラベルで訓練されたRoBERTa事前学習言語モデル(PLM)は、パブリックなNewsEmpベンチマークにおいて、最先端のピアソン相関係数0.648を得る。 本稿では,評価指標の選択と人口統計バイアスを更に分析し,より公平な共感型コンピューティングモデルの開発を支援する。 コードとLLM生成ラベルはhttps://github.com/hasan-rakibul/LLMPathy.comで入手できる。

関連論文リスト

• Calibrating Pre-trained Language Classifiers on LLM-generated Noisy Labels via Iterative Refinement [8.804897656598051]
  そこで我々はSiDyP: Simplex Label Diffusion with Dynamic Priorを提案する。 我々のフレームワークは、ゼロショットと少数ショットのLLM生成したノイズラベルデータセットをそれぞれ平均7.21%と7.30%で微調整したBERT分類器の性能を向上させることができる。
  論文  参考訳（メタデータ） (2025-05-26T08:31:55Z)
• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
  大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。 LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。 本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Permissive Information-Flow Analysis for Large Language Models [21.563132267220073]
  大規模言語モデル(LLM)は、大規模ソフトウェアシステムのコモディティコンポーネントになりつつある。 これは自然なセキュリティとプライバシの問題を引き起こします。あるコンポーネントから取得した有毒なデータは、モデルの振る舞いを変更し、システム全体を侵害します。 LLMクエリを通じて情報フローラベルを伝搬する新しい,より寛容な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T00:25:43Z)
• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Large Language Model-guided Document Selection [23.673690115025913]
  大規模言語モデル(LLM)の事前学習は、ますます増加する計算予算を消費する。 近年の研究では、ドキュメントの選択がFLOPのごく一部で同等のモデル品質を実現することが実証されている。 拡張性のある汎用ドメイン文書選択のための有望な方向を探究する。
  論文  参考訳（メタデータ） (2024-06-07T04:52:46Z)
• TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
  大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。 我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。 また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
  論文  参考訳（メタデータ） (2024-03-18T18:45:28Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions [30.464763055981933]
  大規模言語モデル(LLM)は、他のモデルのトレーニングや評価のためにテキストデータを生成するために用いられる。 LLMベースのテキストデータ生成において,高い多様性と精度を実現するために,人間とAIのパートナーシップを検討する。
  論文  参考訳（メタデータ） (2023-06-07T04:27:09Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。