論文の概要: Understanding Suggested Edits in Stack Overflow: A Large-Scale Empirical Study and Review Prioritization Framework
- arxiv url: http://arxiv.org/abs/2611.15001v1
- Date: Wed, 11 Nov 2026 03:59:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.004992
- Title: Understanding Suggested Edits in Stack Overflow: A Large-Scale Empirical Study and Review Prioritization Framework
- Title(参考訳): Stack Overflowの推奨編集を理解する - 大規模な実証研究とレビュー優先順位付けフレームワーク
- Abstract要約: 2011年から2023年5月までに提案された3,888,805件の分析を行った。
我々は35の特徴を用いて、承認された編集と拒否された編集を比較した。
削除された編集を手作業で分析し、17のきめ細かい拒絶理由を特定した。
- 参考スコア(独自算出の注目度): 0.5133143243716792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Suggested edits allow low-reputation users to improve Stack Overflow posts and contribute to the platform's knowledge base. However, we still know little about why these edits are accepted or rejected and how reviewers can efficiently identify problematic edits. In this study, we analyze 3,888,805 suggested edits submitted between 2011 and May 2023. First, we compare accepted and rejected edits using 35 features. We find significant differences between them, with the largest differences related to users' editing history. Second, we manually analyze rejected edits and identify 17 fine-grained rejection reasons. These reasons provide a more detailed understanding of why edits are rejected than Stack Overflow's predefined rejection reasons. Third, we evaluate three models for prioritizing edits based on their likelihood of rejection. The Feature Model, built using the 35 studied features, provides the best trade-off between review rate and rejected-edit recall. At a decision threshold of $τ= 0.40$, it prioritizes 52.3% of edits for human review while capturing 80.8% of rejected edits. In comparison, the Embedding Model captures 78.8% of rejected edits while prioritizing 60.9% of edits, and the EditEx Model captures 72.5% while prioritizing 59.0%. We also conduct a complementary zero-shot evaluation on a separate set of 500 edits. The Feature Model achieves 78.0% recall at $τ= 0.40$, compared with 23.6%-31.2% for GPT-4o, Qwen2.5-32B, and Llama-3.3-70B. Overall, our findings provide a detailed understanding of suggested-edit rejection and show that rejection-risk prediction can help prioritize potentially problematic edits for human review.
- Abstract(参考訳): 推奨編集により、低評価ユーザはStack Overflowの投稿を改善し、プラットフォームのナレッジベースに貢献できる。
しかし、なぜこれらの編集が受け入れられるか、拒否されるのか、またレビュアーが問題のある編集を効率的に識別する方法についてはほとんど分かっていない。
本研究では,2011年から2023年5月までに提出された3,888,805件の編集を解析した。
まず,35機能を用いた編集の受理と拒否を比較した。
その結果,ユーザの編集履歴に最も大きな違いがあることがわかった。
第2に、削除された編集を手作業で分析し、17個の微細な拒絶理由を特定した。
これらの理由から、Stack Overflowの事前定義された拒絶理由よりも、編集が拒否される理由のより詳細な理解が得られる。
第3に、編集の優先順位付けのための3つのモデルについて、拒絶の可能性に基づいて評価する。
35の検証された機能を使って構築されたフィーチャーモデルは、レビューレートと拒否編集リコールの最良のトレードオフを提供します。
決定しきい値であるτ=0.40$では、人間のレビューに52.3%の編集を優先し、80.8%の編集を削除している。
比較として、Embedding Modelは、60.9%の編集を優先順位付けしながら、78.8%の編集を削除し、EditEx Modelは72.5%、59.0%を優先順位付けしている。
また、500の編集を別々に行うことで、補完的なゼロショット評価を行う。
Feature Modelは78.0%のリコールを$τ= 0.40$で達成し、GPT-4o、Qwen2.5-32B、Llama-3.3-70Bでは23.6%-31.2%である。
全体として,提案する編集拒絶の詳細な理解が得られ,拒絶リスク予測が人為的レビューにおいて潜在的に問題となる編集の優先順位付けに有効であることを示す。
関連論文リスト
- RubricWorld: World Model-Guided Rubric Optimization for LLM Graders [36.65444139267064]
本稿では,過去の編集評価から学習するフレームワークを提案する。
その世界モデルは、現在の状態に基づいて、編集の修正とスコア境界でのレートを予測する。
27回中20回で最高得点を記録した。
論文 参考訳(メタデータ) (2026-11-01T15:22:37Z) - 3DCodeEdit: Benchmarking Instruction-Guided 3D Program Editing [56.634290206718184]
命令誘導編集タスクのベンチマークである3DCodeEditを導入する。
その編集はパラメータから構造的変化、スタイル、シーン構成まで様々で、人間レビューされたチェックリストに対するレンダリングから判断される。
17モデル中、平均成功率は37%に過ぎず、最強モデルでさえ、構造的およびスタイル的な編集の60%以下である。
論文 参考訳(メタデータ) (2026-10-28T03:29:59Z) - Edit Discovery in Human-AI Interactions [26.421666468351592]
編集者の概念を考察する: より有能な評価プロセスで、応答を検査し、それを確認または修正することができるが、その呼び出しはコストがかかる。
重要な課題は、編集が実際に行われるかどうかを知る前に、どのインタラクションをエディタに送るかを決定することである。
この問題をEDO(Edit Discovery Optimization)として定式化し、スキップされたインタラクション間で欠落した編集機会を最小限に抑える。
EDIT (Edit Discovery via Iterative Thresholding) は、編集ラベルを選択されたインタラクションにのみ公開する部分フィードバック設定のためのオンラインアルゴリズムである。
論文 参考訳(メタデータ) (2026-10-15T21:24:20Z) - Adversarial Cues in Decision Models Used as Judges: The Role of Request Presentation [1.7259824817932294]
候補に1つのコロニーを追加すると、構造化された判定要求の提示に応じて、この要件に違反する可能性があることを示す。
基本的な判断能力は、固定された候補編集に対して、著しく異なる脆弱性と共存できることを示す。
論文 参考訳(メタデータ) (2026-10-08T07:59:48Z) - Turkish MMLU Pro: Traceable Option Augmentation and Its Validity Limits in Turkish Multiple-Choice Evaluation [0.0]
回答オプションを追加することで、評価の妥当性を向上することなく、複数の選択のスコアを下げることができる。
トルコのMMLU Proは58のセクションで12,000のトルコ語ソースの質問を用いてこの区別を検証している。
論文 参考訳(メタデータ) (2026-09-14T12:28:09Z) - Does Editing Improve Answer Quality on Stack Overflow? A Data-Driven Investigation [5.176434782905268]
Stack Overflowのような技術Q&Aプラットフォームの低品質な回答には、非効率性、バグ、セキュリティ脆弱性が導入されている。
コンテンツ品質を改善するために、SOは共同編集を可能にする。
我々は,少なくとも1つの編集を受理したPython関連の94,994の回答を分析し,編集がセマンティック関連性,コード使用性,(3)コードの複雑さ,(4)セキュリティ脆弱性,(5)コードの最適化,(6)可読性を改善するかどうかを判定する。
論文 参考訳(メタデータ) (2025-07-28T20:51:55Z) - The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
我々は、広く使われている質問応答(QA)データセットに対応する新しいベンチマークであるQAEditと、タスクに依存しない評価フレームワークであるWILDを紹介する。
単一の編集実験により、現在行われている編集手法は、以前報告したよりもかなり悪い結果が得られた。
論文 参考訳(メタデータ) (2025-02-16T15:57:55Z) - Evaluating the Ripple Effects of Knowledge Editing in Language Models [47.6531309439867]
我々は5Kの事実編集の診断ベンチマークを行い、様々な種類のリップル効果を捉えた。
筆者らはRippleEdits上での顕著な編集手法の評価を行い、現在の手法がモデルの知識に一貫した変化を起こさないことを示す。
論文 参考訳(メタデータ) (2023-07-24T17:52:46Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。