論文の概要: Uncovering the Causes of Emotions in Software Developer Communication
Using Zero-shot LLMs
- arxiv url: http://arxiv.org/abs/2312.09731v1
- Date: Fri, 15 Dec 2023 12:16:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 16:06:07.349983
- Title: Uncovering the Causes of Emotions in Software Developer Communication
Using Zero-shot LLMs
- Title(参考訳): ゼロショットllmを用いたソフトウェア開発者コミュニケーションにおける感情原因の解明
- Authors: Mia Mohammad Imran, Preetha Chatterjee, Kostadin Damevski
- Abstract要約: 正確な機械学習モデルをトレーニングするために使用できる、大規模なソフトウェアエンジニアリング固有のデータセットが必要である。
本稿では,ソフトウェア工学における感情の原因を検出するタスクに特化して微調整されることなく,大量のデータセット上で事前訓練されたゼロショットLCMについて検討する。
- 参考スコア(独自算出の注目度): 9.298552727430485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding and identifying the causes behind developers' emotions (e.g.,
Frustration caused by `delays in merging pull requests') can be crucial towards
finding solutions to problems and fostering collaboration in open-source
communities. Effectively identifying such information in the high volume of
communications across the different project channels, such as chats, emails,
and issue comments, requires automated recognition of emotions and their
causes. To enable this automation, large-scale software engineering-specific
datasets that can be used to train accurate machine learning models are
required. However, such datasets are expensive to create with the variety and
informal nature of software projects' communication channels.
In this paper, we explore zero-shot LLMs that are pre-trained on massive
datasets but without being fine-tuned specifically for the task of detecting
emotion causes in software engineering: ChatGPT, GPT-4, and flan-alpaca. Our
evaluation indicates that these recently available models can identify emotion
categories when given detailed emotions, although they perform worse than the
top-rated models. For emotion cause identification, our results indicate that
zero-shot LLMs are effective at recognizing the correct emotion cause with a
BLEU-2 score of 0.598. To highlight the potential use of these techniques, we
conduct a case study of the causes of Frustration in the last year of
development of a popular open-source project, revealing several interesting
insights.
- Abstract(参考訳): 開発者の感情の背後にある原因の理解と識別(例えば、“プルリクエストのマージ時の遅延”によるフラストレーション)は、問題に対する解決策を見つけ、オープンソースコミュニティにおけるコラボレーションを育む上で極めて重要である。
チャット、Eメール、イシューコメントなど、異なるプロジェクトチャネル間のコミュニケーションの量でそのような情報を効果的に識別するには、感情とその原因を自動認識する必要がある。
この自動化を実現するには、正確な機械学習モデルをトレーニングするために使用できる、大規模なソフトウェアエンジニアリング固有のデータセットが必要である。
しかし、そのようなデータセットは、ソフトウェアプロジェクトのコミュニケーションチャネルの多様性と非公式の性質で作成するのに高価である。
本稿では,ソフトウェア工学における感情の原因を検出するタスクであるChatGPT,GPT-4,Flan-alpacaを特に微調整することなく,大量のデータセットで事前訓練したゼロショットLCMについて検討する。
評価の結果,最近利用可能なモデルでは,詳細な感情を与えられた場合の感情カテゴリーを識別できることがわかった。
感情原因同定では,ゼロショットllmがbleu-2スコア0.598の正確な感情原因の認識に有効であることが示された。
これらのテクニックの潜在的な利用を強調するため,我々は,人気の高いオープンソースプロジェクトの開発におけるフラストレーションの原因についてケーススタディを行い,いくつかの興味深い知見を明らかにした。
関連論文リスト
- The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳(メタデータ) (2024-03-23T09:26:15Z) - GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。
本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
論文 参考訳(メタデータ) (2024-03-09T13:56:25Z) - EmoBench: Evaluating the Emotional Intelligence of Large Language Models [75.79920924768798]
EmoBenchは、確立された心理学理論に基づいて、マシン感情知能(EI)の包括的な定義を提案するベンチマークである。
EmoBenchには、英語と中国語で400の手作りの質問が含まれている。
以上の結果から,既存の大規模言語モデルのEIと平均的な人間の間には,かなりのギャップがみられ,今後の研究に向けての有望な方向性が浮かび上がっている。
論文 参考訳(メタデータ) (2024-02-19T11:48:09Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Towards Understanding Emotions in Informal Developer Interactions: A
Gitter Chat Study [10.372820248341746]
幅広い感情ラベル(およびサブラベル)を手動でアノテートした開発者チャットメッセージのデータセットを提示する。
チャットに特有な感情のユニークなシグナルを調査し,他の形態のソフトウェアコミュニケーションと区別する。
以上の結果から,チャットは承認や恐怖の表現が少ないが,キュリオシティの表現がGitHubのコメントより多いことが示唆された。
論文 参考訳(メタデータ) (2023-11-08T15:29:33Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Revisiting Sentiment Analysis for Software Engineering in the Era of
Large Language Models [12.440597259254286]
ゼロショットシナリオと少数ショットシナリオの両方において,オープンソースの3つのbLLMの性能について検討した。
実験により,bLLMsは訓練データと不均衡分布に制限されたデータセットに対して最先端の性能を示すことが示された。
論文 参考訳(メタデータ) (2023-10-17T09:53:03Z) - Automatic Sensor-free Affect Detection: A Systematic Literature Review [0.0]
本稿では,センサレス感情検出に関する総合的な文献レビューを行う。
この分野の明らかな成熟度は、モデルの一貫した性能によって証明されているにもかかわらず、将来の研究には十分な範囲がある。
モデル開発プラクティスやメソッドの洗練も必要です。
論文 参考訳(メタデータ) (2023-10-11T13:24:27Z) - Implicit Design Choices and Their Impact on Emotion Recognition Model
Development and Evaluation [5.534160116442057]
感情の主観性は、正確で堅牢な計算モデルを開発する上で大きな課題を生じさせる。
この論文は、多様なデータセットの収集から始まる感情認識の批判的な側面を調べる。
非表現的トレーニングデータの課題に対処するため、この研究はマルチモーダルストレス感情データセットを収集する。
論文 参考訳(メタデータ) (2023-09-06T02:45:42Z) - Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
我々は,Large Language Models (LLM) の共感能力を評価することを提案する。
我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。
我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
論文 参考訳(メタデータ) (2023-08-07T15:18:30Z) - LDEB -- Label Digitization with Emotion Binarization and Machine
Learning for Emotion Recognition in Conversational Dialogues [0.0]
会話における感情認識(ERC)は、会話AIとその応用の発展に不可欠である。
会話の対話は、各対話が感情の特徴記述子と感情タイプ(またはラベル)の関連を絡めるネストされた感情を描写するユニークな問題を示す。
テキスト正規化と7ビットディジタル符号化技術を用いて、ツイストをアンタングル化するLDEB(Label Digitization with Emotion Binarization)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-03T20:37:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。