論文の概要: Automatic Scoring of Dream Reports' Emotional Content with Large Language Models

• arxiv url: http://arxiv.org/abs/2302.14828v1
• Date: Tue, 28 Feb 2023 18:23:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 14:51:37.869903
• Title: Automatic Scoring of Dream Reports' Emotional Content with Large Language Models
• Title（参考訳）: 大規模言語モデルによるドリームレポートの感情内容の自動抽出
• Authors: Lorenzo Bertolini, Valentina Elce, Adriana Michalak, Giulio Bernardi, Julie Weeds
• Abstract要約: 夢の内容の研究は典型的には、睡眠から目覚めたときに、夢の人々が提供した言葉による報告の分析に依存する。 このタスクは、訓練されたアノテータによって提供された手動のスコアリングを通じて古典的に実行され、多大な費用がかかる。 一貫した研究は、自然言語処理(NLP)ツールが夢のレポートの自動解析をサポートすることを示唆しているが、提案手法にはレポートの全コンテキストを推論する能力がなく、広範なデータ前処理が必要であった。 本研究では,大規模な言語モデル(LLM)を応用して,夢のレポートのマニュアルアノテーションを,オフの混合を用いて研究し,再現することにより,これらの制約に対処する。
• 参考スコア（独自算出の注目度）: 3.1761323820497656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the field of dream research, the study of dream content typically relies on the analysis of verbal reports provided by dreamers upon awakening from their sleep. This task is classically performed through manual scoring provided by trained annotators, at a great time expense. While a consistent body of work suggests that natural language processing (NLP) tools can support the automatic analysis of dream reports, proposed methods lacked the ability to reason over a report's full context and required extensive data pre-processing. Furthermore, in most cases, these methods were not validated against standard manual scoring approaches. In this work, we address these limitations by adopting large language models (LLMs) to study and replicate the manual annotation of dream reports, using a mixture of off-the-shelf and bespoke approaches, with a focus on references to reports' emotions. Our results show that the off-the-shelf method achieves a low performance probably in light of inherent linguistic differences between reports collected in different (groups of) individuals. On the other hand, the proposed bespoke text classification method achieves a high performance, which is robust against potential biases. Overall, these observations indicate that our approach could find application in the analysis of large dream datasets and may favour reproducibility and comparability of results across studies.
• Abstract（参考訳）: ドリーム研究の分野では、夢の内容の研究は一般的に、睡眠から目覚めたときに夢師が提供した言葉による報告の分析に依存する。 この作業は、訓練された注釈者によって提供される手作業によるスコアリングによって、非常に長い時間をかけて古典的に行われる。 一貫した研究は、自然言語処理(NLP)ツールが夢のレポートの自動解析をサポートすることを示唆しているが、提案手法にはレポートの全コンテキストを推論する能力がなく、広範なデータ前処理が必要であった。 さらに、たいていの場合、これらの手法は標準的な手動採点手法に対して検証されなかった。 そこで本研究では,本論文では,本論文の自発的アプローチと自発的アプローチの混合を用いて,ドリームレポートの手動アノテーションを学習・再現するために,大規模言語モデル(llm)を採用することで,これらの制約に対処する。 その結果,本手法は,個人別(集団別)に収集したレポート間の言語的差異を考慮し,低性能を達成できることが示唆された。 一方,提案手法は,潜在的なバイアスに対して頑健な高い性能を実現する。 全体として,本手法は大規模ドリームデータセットの解析に応用できる可能性を示し,結果の再現性と比較可能性に寄与する可能性が示唆された。

関連論文リスト

• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• Mitigating Biases to Embrace Diversity: A Comprehensive Annotation Benchmark for Toxic Language [0.0]
  本研究では、人文科学研究に基礎を置く規範的ベンチマークを導入し、攻撃的言語の一貫性のないラベル付けを確実にする。 我々は、人間と言語モデル(LLM)アノテーションのアノテーション間のより高いアノテータ合意を達成するために、2つの新しいアノテートデータセットをコントリビュートする。
  論文  参考訳（メタデータ） (2024-10-17T08:10:24Z)
• Towards More Effective Table-to-Text Generation: Assessing In-Context Learning and Self-Evaluation with Open-Source Models [0.0]
  本研究では,ベンチマークデータセット間の言語モデル(LM)における様々なコンテキスト内学習戦略の有効性について検討する。 我々は、チェーンオブ思考推論を用いた大規模言語モデル(LLM)の自己評価アプローチを採用し、BERTScoreのような人力対応メトリクスとの相関性を評価する。 本研究はテーブル・ツー・テキスト・ジェネレーションの改善における実例の顕著な影響を浮き彫りにし, LLM の自己評価には可能性があるが, 人間の判断と現在の整合性は向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-15T09:19:42Z)
• Exploring Large Language Models for Relevance Judgments in Tetun [0.03683202928838613]
  本稿では,大規模言語モデル(LLM)による妥当性評価の自動化の可能性について検討する。 LLMは、Tetunで一連のクエリドキュメントペアを入力テキストとして提供することにより、関連判断タスクを自動化するために使用される。 本研究は,高ソース言語研究において報告された結果と密接に一致した結果を明らかにする。
  論文  参考訳（メタデータ） (2024-06-11T14:28:24Z)
• Sequence-to-Sequence Language Models for Character and Emotion Detection in Dream Narratives [0.0]
  本稿では,オープンドリームバンク・コーパス・オブ・ドリームストーリーズ(DreamBank corpus of Dream Storys)の英語部分における性格と感情の検出に関する最初の研究について述べる。 以上の結果から,言語モデルがこの複雑な課題に効果的に対処できることが示唆された。 モデルサイズ,文字の予測順序,固有名や文字の特徴を考慮した評価を行った。
  論文  参考訳（メタデータ） (2024-03-21T08:27:49Z)
• How to Determine the Most Powerful Pre-trained Language Model without Brute Force Fine-tuning? An Empirical Survey [23.757740341834126]
  その結果,H-Scoreは効率性や効率性に優れることがわかった。 また、トレーニングの詳細、テキスト生成への適用性、今後の方向性に光を当てる特定の指標との整合性といった難しさについても概説する。
  論文  参考訳（メタデータ） (2023-12-08T01:17:28Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。