論文の概要: Revisiting Aristotle vs. Ringelmann: The influence of biases on measuring productivity in Open Source software development
- arxiv url: http://arxiv.org/abs/2408.04782v1
- Date: Thu, 8 Aug 2024 22:49:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 17:08:34.631786
- Title: Revisiting Aristotle vs. Ringelmann: The influence of biases on measuring productivity in Open Source software development
- Title（参考訳）: Aristotle vs. Ringelmann: オープンソースのソフトウェア開発における生産性測定に対するバイアスの影響
- Authors: Christian Gut, Alfredo Goldman,
- Abstract要約: ETH Z"urichの2つの研究チームは、オープンソースソフトウェアプロジェクトの生産性が、チームサイズに関してサブリニアかスーパーリニアかを議論した。
研究手法の類似性にもかかわらず、Ingo Scholtes氏を中心としたあるチームは、プロジェクトがサブリニアをスケールするという結論に達した。
Didier Sornette氏を取り巻く他のチームは、チームサイズと生産性の超直線的関係を確かめた。
- 参考スコア（独自算出の注目度）: 2.4708152980959035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aristotle vs. Ringelmann was a discussion between two distinct research teams from the ETH Z\"urich who argued whether the productivity of Open Source software projects scales sublinear or superlinear with regard to its team size. This discussion evolved around two publications, which apparently used similar techniques by sampling projects on GitHub and running regression analyses to answer the question about superlinearity. Despite the similarity in their research methods, one team around Ingo Scholtes reached the conclusion that projects scale sublinear, while the other team around Didier Sornette ascertained a superlinear relationship between team size and productivity. In subsequent publications, the two authors argue that the opposite conclusions may be attributed to differences in project populations, since 81.7% of Sornette's projects have less than 50 contributors. Scholtes, on the other hand, sampled specifically projects with more than 50 contributors. This publication compares the research from both authors by replicating their findings, thus allowing for an evaluation of how much project sampling actually accounted for the differences between Scholtes' and Sornette's results. Thereby, the discovery was made that sampling bias only partially explains the discrepancies between the two authors. Further analysis led to the detection of instrumentation biases that drove the regression coefficients in opposite directions. These findings were then consolidated into a quantitative analysis, indicating that instrumentation biases contributed more to the differences between Scholtes' and Sornette's work than the selection bias suggested by both authors.
- Abstract（参考訳）: Aristotle vs. Ringelmann は、ETH Z\"urich の2つの研究チームの間で議論され、オープンソースソフトウェアプロジェクトの生産性が、そのチームサイズに関してサブリニアかスーパーリニアかを議論した。
この議論は2つの出版物を中心に発展し、GitHub上のプロジェクトをサンプリングし、レグレッション分析を実行して、超線形性に関する質問に答えた。
研究手法の類似性にもかかわらず、Ingo Scholtes氏を中心としたあるチームは、プロジェクトがサブリニアにスケールしているという結論に達し、Didier Sornette氏率いる他のチームは、チームサイズと生産性の超リニアな関係を確認した。
その後の出版物では、ソーネットのプロジェクトの81.7%には50人未満のコントリビューターがいるため、反対の結論はプロジェクト人口の違いによるものかもしれないと主張している。
一方、Scholtes氏は50人以上のコントリビュータで特別にプロジェクトをサンプルした。
この出版物は、両方の著者による研究を、彼らの研究結果を複製することによって比較し、プロジェクトサンプリングが、スコルテスとソルネットの結果の違いを実際にどれほどの量で説明していたかの評価を可能にした。
これにより、サンプリングバイアスが2人の著者間の相違について部分的にしか説明できないことが判明した。
さらなる分析により、反対方向に回帰係数を駆動する計装バイアスが検出された。
これらの結果は定量分析に集約され、両著者が提案した選択バイアスよりも、計器的バイアスがシュートの業績とソルネットの業績の違いに寄与したことを示している。
関連論文リスト
- How do Humans and Language Models Reason About Creativity? A Comparative Analysis [12.398832289718703]
評価を用いた例を含む2つの実験が創造性評価にどのように影響するかを検討した。
研究1では, フォーマルな科学や工学の訓練を受けた72人の専門家の創造性評価を, 評価を受けた者(例)と、そうでない者(例)を比較した。
研究2では、最先端のLCMを用いた並列解析により、モデルが独創性を評価する際に、アイデアの非日常性と遠隔性を優先していることが判明した。
論文 参考訳（メタデータ） (2025-02-05T15:08:43Z) - How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。
その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
論文 参考訳（メタデータ） (2024-11-28T16:20:25Z) - Apples, Oranges, and Software Engineering: Study Selection Challenges
for Secondary Research on Latent Variables [8.612556181934291]
抽象概念を測ることができないことは、ソフトウェア工学の二次研究にとって直接的に課題となる。
標準化された測定機器はめったに利用できないが、たとえあるとしても、多くの研究者はそれを使用せず、また研究された概念の定義も提供していない。
したがって、セカンダリリサーチを行うSE研究者は、(a)どの一次研究が同じ構造を測るか、(b)同じ構造を全く異なる測定値と比較し、集約する方法を決定する必要がある。
論文 参考訳（メタデータ） (2024-02-13T17:32:17Z) - The Role of Data Filtering in Open Source Software Ranking and Selection [4.64854945726664]
GitHubにリストされているプロジェクトのフィルタリングが、その人気の評価にどのように影響するかを調査する。
10万以上のレポジトリをランダムにサンプリングし、複数のレグレッションを使って星数をモデル化しました。
その結果,リポジトリの特定の特性が常に人気を予測しているのに対して,フィルタ処理はこれらの特性と応答の関係を著しく変化させることがわかった。
論文 参考訳（メタデータ） (2024-01-18T17:05:10Z) - ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。
我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。
3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
論文 参考訳（メタデータ） (2023-11-29T23:03:04Z) - Sentiment Analysis through LLM Negotiations [58.67939611291001]
感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。
本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-03T12:35:29Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Twin Papers: A Simple Framework of Causal Inference for Citations via
Coupling [40.60905158071766]
この効果を調査する上で大きな困難は、現実には利用できない反事実的な結果を知る必要があることである。
提案された枠組みでは、互いに双子として引用する2つの論文が検討されている。
本研究は,異なる決定を取り入れた双子の論文を調査し,これらの研究による研究効果の進展を観察し,その差による意思決定の効果を推定する。
論文 参考訳（メタデータ） (2022-08-21T10:42:33Z) - Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。
私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
論文 参考訳（メタデータ） (2022-07-19T12:52:33Z) - Reenvisioning Collaborative Filtering vs Matrix Factorization [65.74881520196762]
近年,行列因数分解に基づく協調フィルタリングモデルや,ニューラルネットワーク(ANN)を用いた類似性の学習が注目されている。
推薦エコシステム内でのANNの発表が最近疑問視され、効率性と有効性に関していくつかの比較がなされている。
本研究では,これらの手法が相補的評価次元に与える影響を解析しながら,超精度評価にもたらす可能性を示す。
論文 参考訳（メタデータ） (2021-07-28T16:29:38Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。