論文の概要: Show Your Title! A Scoping Review on Verbalization in Software Engineering with LLM-Assisted Screening
- arxiv url: http://arxiv.org/abs/2510.12294v1
- Date: Tue, 14 Oct 2025 08:56:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.259838
- Title: Show Your Title! A Scoping Review on Verbalization in Software Engineering with LLM-Assisted Screening
- Title（参考訳）: Scoping Review on Verbalization in Software Engineering with LLM-Assisted Screening (英語)
- Authors: Gergő Balogh, Dávid Kószó, Homayoun Safarpour Motealegh Mahalegi, László Tóth, Bence Szakács, Áron Búcsú,
- Abstract要約: 本稿では,ソフトウェア工学(SE)と心理学(PSY)の交差点における研究のスコーピングレビューについて述べる。
大規模な学際的レビューを実現するために,GPTを用いた大規模言語モデル(LLM)を用いた。
我々は、GPTのアウトプットをヒトレビュアーに対して検証し、13%の一致率で高い一貫性を示した。
著名なテーマは主にSEの工芸に結びついており、より人間中心のトピックは不足していた。
- 参考スコア（独自算出の注目度）: 1.217622452761334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding how software developers think, make decisions, and behave remains a key challenge in software engineering (SE). Verbalization techniques (methods that capture spoken or written thought processes) offer a lightweight and accessible way to study these cognitive aspects. This paper presents a scoping review of research at the intersection of SE and psychology (PSY), focusing on the use of verbal data. To make large-scale interdisciplinary reviews feasible, we employed a large language model (LLM)-assisted screening pipeline using GPT to assess the relevance of over 9,000 papers based solely on titles. We addressed two questions: what themes emerge from verbalization-related work in SE, and how effective are LLMs in supporting interdisciplinary review processes? We validated GPT's outputs against human reviewers and found high consistency, with a 13\% disagreement rate. Prominent themes mainly were tied to the craft of SE, while more human-centered topics were underrepresented. The data also suggests that SE frequently draws on PSY methods, whereas the reverse is rare.
- Abstract（参考訳）: ソフトウェア開発者の考え方、意思決定、行動を理解することは、ソフトウェア工学(SE)における重要な課題である。
言語化技術(音声または書面の思考過程をキャプチャする手法)は、これらの認知的側面を研究するための軽量でアクセスしやすい方法を提供する。
本稿では,SEと心理学(PSY)の交差点における研究のスコーピングレビューを行い,言語データの利用に着目した。
大規模な学際的レビューを実現するため, GPTを用いた大規模言語モデル(LLM)によるスクリーニングパイプラインを用いて, タイトルのみに基づく9000以上の論文の関連性評価を行った。
私たちは2つの疑問に対処した:SEにおける言語化関連作業からテーマが生まれるか、そして、学際的レビュープロセスをサポートする上でLLMはどの程度有効か?
我々は、GPTのアウトプットをヒトのレビュアーに対して検証し、高い一貫性を示し、13%の一致率を得た。
著名なテーマは主にSEの工芸に結びついており、より人間中心のトピックは不足していた。
データは、SEがPSYメソッドに頻繁に描画することを示しているが、逆は稀である。
関連論文リスト
- Word Clouds as Common Voices: LLM-Assisted Visualization of Participant-Weighted Themes in Qualitative Interviews [13.971616443394474]
ThemeCloudsは,対話の書き起こしから主題的,参加者に重み付けされたワードクラウドを生成する,オープンソースの可視化ツールである。
このシステムは、LLMに、コーパス全体で概念レベルのテーマを識別するよう促し、各トピックに言及する参加者の数をカウントする。
5つの記録デバイス構成を比較したユーザスタディのインタビューから,本手法は,周波数雲やトピックモデリングベースラインよりも動作可能なデバイス関心事を明らかにする。
論文 参考訳（メタデータ） (2025-08-11T00:27:52Z) - Psycholinguistic Analyses in Software Engineering Text: A Systematic Literature Review [9.229310642804036]
言語質問と単語数(LIWC)は、テキストで表される認知的および感情的なプロセスに対する、より明確で解釈可能な洞察を提供する。
ソフトウェア工学の研究で広く使われているにもかかわらず、LIWCの使用に関する包括的なレビューは行われていない。
LIWCを用いて, 43のSE関連論文を同定し, 6つの顕著なデータベースの体系的レビューを行った。
論文 参考訳（メタデータ） (2025-03-08T00:23:13Z) - Streamlining the review process: AI-generated annotations in research manuscripts [0.5735035463793009]
本研究では,Large Language Models (LLM) をピアレビュープロセスに統合し,効率を向上する可能性について検討する。
我々は、AIと人間のコラボレーションの潜在的な領域として、写本の注釈、特に抜粋ハイライトに焦点を当てている。
本稿では,GPT-4を利用した原稿レビュープラットフォームAnnotateGPTを紹介する。
論文 参考訳（メタデータ） (2024-11-29T23:26:34Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-06-24T01:30:22Z) - Using Generative Text Models to Create Qualitative Codebooks for Student Evaluations of Teaching [0.0]
学生による教育評価(SET)は、教育者にとって重要なフィードバック源である。
SETのコレクションは、管理者がコースやプログラム全体の信号として役立つ。
自然言語処理(NLP)と大規模言語モデル(LLM)を用いてSETを解析する新しい手法について論じる。
論文 参考訳（メタデータ） (2024-03-18T17:21:35Z) - Thread of Thought Unraveling Chaotic Contexts [133.24935874034782]
思考のスレッド(ThoT)戦略は、人間の認知プロセスからインスピレーションを得ている。
実験では、他のプロンプト技術と比較して、ThoTは推論性能を著しく改善する。
論文 参考訳（メタデータ） (2023-11-15T06:54:44Z) - How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。
このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。
具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
論文 参考訳（メタデータ） (2023-09-15T11:15:47Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。