論文の概要: Adapt the Object to the Subject: Representative Study Material for Empirical Software Engineering
- arxiv url: http://arxiv.org/abs/2611.07772v1
- Date: Thu, 05 Nov 2026 10:11:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.652769
- Title: Adapt the Object to the Subject: Representative Study Material for Empirical Software Engineering
- Title（参考訳）: 対象に適応する:実証ソフトウェア工学の代表的な教材
- Abstract要約: 研究対象が各参加者の著作をいかにうまく表現しているかは、しばしば見過ごされる。
本稿では,短時間の参加者支援型コンテキスト記述から,オンライン調査において,文脈適応型合成要求のジャスト・イン・タイムを生成する手法を提案する。
その結果,知覚的代表性は評価可能性に強い正の影響を及ぼすことがわかった。
- 参考スコア（独自算出の注目度）: 36.62158015342469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: External validity is a central concern in empirical software engineering, yet the debate has largely focused on whether study participants are representative. How well the study objects they reason about - code, models, or requirements - are representative of each participant's own work is often overlooked. Practitioners' own artifacts would be ideal, but are often out of reach, so researchers sample from public datasets or construct objects artificially. Whether this lack of subject-object fit affects participants' ability to act on the material remains unknown. We take a first step toward answering this question for requirements. We propose an approach that uses an LLM to generate context-adapted synthetic requirements just-in-time during an online survey from a short, participant-supplied context description, optionally injecting requirements smells as controlled stimuli. To validate the approach, we conducted a controlled experiment with 31 industry practitioners in a 2x2 design that crosses stimulus generation (static vs. synthetic) with quality (clean vs. smelly). Each participant rated the perceived representativeness and assessability of 20 requirements. Using Bayesian data analysis within a statistical causal-inference framework, we find that perceived representativeness has a strong positive effect on assessability. Synthetic requirements are rated as more representative and, primarily due to this gain, more assessable than static ones sourced from public datasets; smell injection leaves both perceptions unchanged. Our results support treating a lack of study-object representativeness as a first-class validity threat and position context-adapted synthetic study objects as a practical addition to the empirical methodology toolbox.
- Abstract（参考訳）: 外的妥当性は経験的ソフトウェア工学の中心的な関心事であるが、この議論は参加者が代表的であるかどうかに主に焦点を当てている。
学習対象であるコード、モデル、あるいは要件が、各参加者自身の作業を表すのにどの程度うまく機能するかは、しばしば見過ごされる。
実践者自身のアーティファクトは理想的であるが、到達できないことが多いため、研究者は公開データセットからサンプルを採取したり、人工的にオブジェクトを構築したりする。
この対象物適合性の欠如が参加者の素材に対する行動能力に影響を及ぼすかどうかは不明である。
私たちはこの要求に答える第一歩を踏み出します。
そこで本稿では,LLMを用いて,短時間の参加者支援型コンテキスト記述から,制御刺激として要求の匂いを任意に注入するオンライン調査において,文脈適応型合成要求をジャスト・イン・タイムで生成する手法を提案する。
提案手法の有効性を検証するため,31名の業界実践者を対象に,刺激発生(静圧対合成)と品質(クリーン対匂い)を交差させる2x2設計の制御実験を行った。
各被験者は,20項目の適応性と評価性を評価した。
統計的因果推論フレームワークにおけるベイズ解析を用いて、知覚的代表性は評価可能性に強い正の影響を及ぼすことがわかった。
合成要求は、より代表的なものとして評価され、主にこの増加のために、パブリックデータセットから得られる静的な要件よりも評価が容易である。
本研究は,実証的方法論ツールボックスへの実践的な追加として,研究対象の代表性を第一級の妥当性の脅威として扱うこと,および位置適応型総合研究オブジェクトとして扱うことを支援する。
関連論文リスト
- AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era [55.37558486468993]
AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。
5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。
アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
論文 参考訳（メタデータ） (2026-09-07T15:19:13Z) - Multi-dimensional Bias in Modeling Multi-dimensional Preferences: Evaluating the Ability of Synthetic Agents to Replace Human Participants in Conjoint Experiments [3.5330809691508924]
本稿では, 合成エージェントが, 多次元の人間の嗜好パターンを再現できるかどうかを考察する。
共役研究を再現し、合成エージェントが生成した結果を3次元の人間のデータと比較する。
論文 参考訳（メタデータ） (2026-08-13T13:44:07Z) - Valid Inference with Synthetic Data via Task Exchangeability [10.492831277106403]
本研究では, 有効性保証を伴う科学研究における合成データの利用原理を提案する。
重要な洞察は、タスク交換可能性と呼ばれる新しい技術的条件です。
タスク交換可能性の下で有効な推論法を開発する。
論文 参考訳（メタデータ） (2026-06-11T17:41:09Z) - Whose Personae? Synthetic Persona Experiments in LLM Research and Pathways to Transparency [12.62715115816099]
2023年から2025年の間に、NLPとAIの主要な会場で発表された63の研究のレビュー。
課題と関心の人口はペルソナに基づく実験でしばしば不特定であることが示される。
本稿では,代表サンプリング,実証データへの明示的な接地,生態学的妥当性の向上を重視したペルソナ透明性チェックリストを提案する。
論文 参考訳（メタデータ） (2025-11-29T12:27:34Z) - Valid Inference with Imperfect Synthetic Data [39.10587411316875]
モーメントの一般化法に基づく新しい推定器を提案する。
合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
論文 参考訳（メタデータ） (2025-08-08T18:32:52Z) - A Controllable Examination for Long-Context Language Models [62.845852724511964]
本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。
その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。
我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
論文 参考訳（メタデータ） (2025-06-03T14:23:06Z) - When is an Embedding Model More Promising than Another? [33.540506562970776]
埋め込みは機械学習において中心的な役割を担い、あらゆるオブジェクトを数値表現に投影し、様々な下流タスクを実行するために利用することができる。
埋め込みモデルの評価は一般にドメイン固有の経験的アプローチに依存する。
本稿では, 組込み器の評価を統一的に行い, 充足性と情報性の概念を考察する。
論文 参考訳（メタデータ） (2024-06-11T18:13:46Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-20T15:02:53Z) - Data Representativity for Machine Learning and AI Systems [2.588973722689844]
機械学習モデルを通じてデータから推論を描く場合、データの表現力は不可欠である。
本稿では,AIとサンプリングに関する科学文献におけるデータ表現性について分析する。
論文 参考訳（メタデータ） (2022-03-09T13:34:52Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳（メタデータ） (2022-01-27T22:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。