論文の概要: Predictive Analytics for Collaborators Answers, Code Quality, and Dropout on Stack Overflow

• arxiv url: http://arxiv.org/abs/2506.18329v1
• Date: Mon, 23 Jun 2025 06:23:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.881366
• Title: Predictive Analytics for Collaborators Answers, Code Quality, and Dropout on Stack Overflow
• Title（参考訳）: Stack Overflowにおけるコラボレーション者の回答,コード品質,ドロップアウトの予測分析
• Authors: Elijah Zolduoarrati, Sherlock A. Licorish, Nigel Stanger,
• Abstract要約: 予測モデルの開発にStack Overflowを使用した以前の研究では、しばしば3-5モデルの限られたベンチマークや任意の選択方法が採用されていた。 本研究は,ユーザが回答する可能性のある質問数,コード品質違反,ドロップアウト状況など,3つのタスクにまたがる21のアルゴリズムを評価した。
• 参考スコア（独自算出の注目度）: 5.4414562674321765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous studies that used data from Stack Overflow to develop predictive models often employed limited benchmarks of 3-5 models or adopted arbitrary selection methods. Despite being insightful, their limited scope suggests the need to benchmark more models to avoid overlooking untested algorithms. Our study evaluates 21 algorithms across three tasks: predicting the number of question a user is likely to answer, their code quality violations, and their dropout status. We employed normalisation, standardisation, as well as logarithmic and power transformations paired with Bayesian hyperparameter optimisation and genetic algorithms. CodeBERT, a pre-trained language model for both natural and programming languages, was fine-tuned to classify user dropout given their posts (questions and answers) and code snippets. We found Bagging ensemble models combined with standardisation achieved the highest R2 value (0.821) in predicting user answers. The Stochastic Gradient Descent regressor, followed by Bagging and Epsilon Support Vector Machine models, consistently demonstrated superior performance to other benchmarked algorithms in predicting user code quality across multiple quality dimensions and languages. Extreme Gradient Boosting paired with log-transformation exhibited the highest F1-score (0.825) in predicting user dropout. CodeBERT was able to classify user dropout with a final F1-score of 0.809, validating the performance of Extreme Gradient Boosting that was solely based on numerical data. Overall, our benchmarking of 21 algorithms provides multiple insights. Researchers can leverage findings regarding the most suitable models for specific target variables, and practitioners can utilise the identified optimal hyperparameters to reduce the initial search space during their own hyperparameter tuning processes.
• Abstract（参考訳）: Stack Overflowのデータを使って予測モデルを開発した以前の研究では、しばしば3-5モデルの限られたベンチマークや任意の選択方法が採用されていた。 洞察に富んでいるにもかかわらず、その限られた範囲は、テストされていないアルゴリズムを見落としないように、より多くのモデルをベンチマークする必要があることを示唆している。 本研究は,ユーザが回答する可能性のある質問数,コード品質違反,ドロップアウト状況など,3つのタスクにまたがる21のアルゴリズムを評価した。 我々は正規化,標準化,およびベイズ超パラメータ最適化と遺伝的アルゴリズムを組み合わせた対数変換と電力変換を採用した。 CodeBERTは、自然言語とプログラミング言語の両方のための事前訓練された言語モデルであり、投稿(クエストと回答)とコードスニペットからユーザードロップアウトを分類するために微調整された。 Baggingアンサンブルモデルと標準化を組み合わせることで,ユーザの回答を予測する上で最も高いR2値(0.821)を達成した。 Stochastic Gradient Descent Regressor に続いて Bagging と Epsilon Support Vector Machine モデルが、複数の品質次元と言語にわたるユーザコード品質の予測において、他のベンチマークアルゴリズムよりも優れたパフォーマンスを示した。 ログ変換と組み合わせたExtreme Gradient Boostingは、ユーザドロップアウトを予測する上で最も高いF1スコア(0.825)を示した。 CodeBERTは最後のF1スコア0.809でユーザドロップアウトを分類することができ、数値データのみに基づくExtreme Gradient Boostingのパフォーマンスを検証した。 全体として、21のアルゴリズムのベンチマークは、複数の洞察を提供する。 研究者は、特定のターゲット変数に最も適したモデルに関する発見を活用でき、実践者は特定された最適なハイパーパラメータを利用して、自身のハイパーパラメータチューニングプロセスにおいて、初期探索空間を削減できる。

関連論文リスト

• Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
  本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。 我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。 本研究は,難解なシナリオにおいて,複数の不完全な推論者からの知識を堅牢に統合するための効果的なメカニズムとして,一貫性に基づく推論が有効であることを示す。
  論文  参考訳（メタデータ） (2025-05-25T23:17:47Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
  バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。 しかし、モデルスコアは真の肯定率と一致しないことが多い。 これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
  論文  参考訳（メタデータ） (2023-11-20T12:40:25Z)
• R-U-SURE? Uncertainty-Aware Code Suggestions By Maximizing Utility Across Random User Intents [14.455036827804541]
  大規模言語モデルは、コードのような構造化されたテキストを予測する上で印象的な結果を示すが、一般的にはエラーや幻覚を出力に導入する。 ランダム化ユーティリティ駆動型不確実領域合成(R-U-SURE)を提案する。 R-U-SUREは、ゴール条件付きユーティリティの意思決定理論モデルに基づく不確実性を考慮した提案を構築するためのアプローチである。
  論文  参考訳（メタデータ） (2023-03-01T18:46:40Z)
• Quantum-Assisted Feature Selection for Vehicle Price Prediction Modeling [0.0]
  本研究では,一般平均情報係数やピアソン相関係数などの二元モデルとして検索を符号化する指標について検討する。 我々は,新しい指標を用いて合成データの最適部分集合を求めるための0.9の精度スコアを得る。 その結果、量子支援ルーチンを活用することで、予測モデル出力の品質を高めるソリューションが見つかることが分かりました。
  論文  参考訳（メタデータ） (2021-04-08T20:48:44Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Discrete-Valued Latent Preference Matrix Estimation with Graph Side Information [12.836994708337144]
  最適なサンプルの複雑さにマッチするアルゴリズムを開発する。 我々のアルゴリズムはエラーをモデル化し、予測性能の点で既存のアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2020-03-16T06:29:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。