論文の概要: Improving the Reporting of Threats to Construct Validity

• arxiv url: http://arxiv.org/abs/2306.05336v1
• Date: Thu, 8 Jun 2023 16:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 04:03:10.642779
• Title: Improving the Reporting of Threats to Construct Validity
• Title（参考訳）: 妥当性構築のための脅威報告の改善
• Authors: Dag I.K. Sj{\o}berg and Gunnar R. Bergersen
• Abstract要約: 2015年から2019年までの5つのトップレベルのソフトウェアエンジニアリングジャーナルで発表された83の記事を分析した。 セグメントの3/5は, 構成妥当性に関係のないトピックに関連付けられていた。 記事の3分の2は、記事に記載された構成妥当性の定義を使わずに、構成妥当性について論じている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Construct validity concerns the use of indicators to measure a concept that is not directly measurable. Aim: This study intends to identify, categorize, assess and quantify discussions of threats to construct validity in empirical software engineering literature and use the findings to suggest ways to improve the reporting of construct validity issues. Method: We analyzed 83 articles that report human-centric experiments published in five top-tier software engineering journals from 2015 to 2019. The articles' text concerning threats to construct validity was divided into segments (the unit of analysis) based on predefined categories. The segments were then evaluated regarding whether they clearly discussed a threat and a construct. Results: Three-fifths of the segments were associated with topics not related to construct validity. Two-thirds of the articles discussed construct validity without using the definition of construct validity given in the article. The threats were clearly described in more than four-fifths of the segments, but the construct in question was clearly described in only two-thirds of the segments. The construct was unclear when the discussion was not related to construct validity but to other types of validity. Conclusions: The results show potential for improving the understanding of construct validity in software engineering. Recommendations addressing the identified weaknesses are given to improve the awareness and reporting of CV.
• Abstract（参考訳）: 背景: 構成妥当性は、直接測定できない概念を測定するための指標の使用に関するものである。 目的: 本研究は,実証的ソフトウェア工学文献における妥当性構築のための脅威に関する議論を識別し,分類し,評価し,定量化することを目的としている。 方法: 2015年から2019年までの5つのトップレベルのソフトウェアエンジニアリングジャーナルで発表された人間中心の実験を報告する83の論文を分析した。 有効性を構成する脅威に関する記事のテキストは、予め定義されたカテゴリに基づいてセグメント(分析単位)に分割された。 セグメントは、脅威と構造を明確に議論するかどうかについて評価された。 結果: セグメントの5分の3は, 構成妥当性に関係のない話題と関連づけられた。 記事の3分の2は、記事に記載された構成妥当性の定義を使わずに、構成妥当性について論じている。 脅威はセグメントの4分の4以上で明確に説明されていたが、問題となる構造はセグメントの3分の2で明確に説明されていた。 コンストラクトは、議論がコンストラクトの妥当性ではなく、他のタイプの妥当性に関連していたかは定かではなかった。 結論: ソフトウェア工学における構成妥当性の理解を改善する可能性を示す。 CVの認識と報告を改善するために、識別された弱点に対処する勧告が与えられる。

関連論文リスト

• Unsupervised Robust Cross-Lingual Entity Alignment via Neighbor Triple Matching with Entity and Relation Texts [17.477542644785483]
  言語間エンティティアライメント(EA)は、異なる言語間での複数の知識グラフ(KG)の統合を可能にする。 近隣の3重マッチング戦略により、エンティティレベルとリレーレベルアライメントを共同で実行するEAパイプライン。
  論文  参考訳（メタデータ） (2024-07-22T12:25:48Z)
• CASA: Causality-driven Argument Sufficiency Assessment [79.13496878681309]
  ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。 PSは前提イベントの導入が前提イベントと結論イベントの両方が欠落した場合の結論につながる可能性を測っている。 2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
  論文  参考訳（メタデータ） (2024-01-10T16:21:18Z)
• Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
  大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。 LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。 最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
  論文  参考訳（メタデータ） (2023-11-20T14:30:55Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Deductive Additivity for Planning of Natural Language Proofs [43.93269297653265]
  帰納的推論に適合する埋め込み空間によって効率的な計画が可能かどうかを検討する。 その結果, 標準埋め込み手法は, 前提の総和付近に結論を埋め込むことが多いが, 有効性に欠け, 推論の特定のカテゴリをモデル化する能力が欠如していることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T17:45:48Z)
• Counterfactual Debiasing for Generating Factually Consistent Text Summaries [46.88138136539263]
  我々は,抽象的なテキスト要約のための因果グラフを構築し,事実的矛盾の本質的な原因を同定する。 本稿では,これらのバイアスの因果的影響を,非現実的推定によって緩和する,CoFactSumという脱バイアスフレームワークを提案する。 広く使われている2つの要約データセットの実験は、CoFactSumの有効性を実証している。
  論文  参考訳（メタデータ） (2023-05-18T06:15:45Z)
• ChatGPT as a Factual Inconsistency Evaluator for Text Summarization [17.166794984161964]
  ゼロショット設定下において,ChatGPTは事実整合性を評価することができることを示す。 一般的に、二項関係推論、要約ランク付け、一貫性評価に関する以前の評価指標よりも優れています。 しかし、ChatGPTの出力を綿密に検査すると、より語彙的に類似した候補を好むこと、誤った推論、指示の不十分な理解など、一定の制限が示される。
  論文  参考訳（メタデータ） (2023-03-27T22:30:39Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Robust and Explainable Identification of Logical Fallacies in Natural Language Arguments [5.850977561881791]
  論理的誤りに関する先行理論を総合的な3段階評価フレームワークに定式化する。 我々は,プロトタイプ推論,インスタンスベースの推論,知識注入に基づく,堅牢で説明可能な3つの手法を取り入れている。 我々はこれらの手法をデータセット上で広範囲に評価し、その堅牢性と説明可能性に焦点を当てた。
  論文  参考訳（メタデータ） (2022-12-12T20:27:17Z)
• Exploring Discourse Structures for Argument Impact Classification [48.909640432326654]
  本稿では、文脈経路に沿った2つの議論間の談話関係が、議論の説得力を特定する上で不可欠な要素であることを実証的に示す。 本研究では,文レベルの構造情報を大規模言語モデルから派生した文脈的特徴に注入・融合するDisCOCを提案する。
  論文  参考訳（メタデータ） (2021-06-02T06:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。