論文の概要: SkillScope: A Tool to Predict Fine-Grained Skills Needed to Solve Issues on GitHub
- arxiv url: http://arxiv.org/abs/2501.15922v1
- Date: Mon, 27 Jan 2025 10:17:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:59:53.383700
- Title: SkillScope: A Tool to Predict Fine-Grained Skills Needed to Solve Issues on GitHub
- Title（参考訳）: SkillScope: GitHubで問題を解決するために必要な細粒度スキルを予測するツール
- Authors: Benjamin C. Carter, Jonathan Rivas Contreras, Carlos A. Llanes Villegas, Pawan Acharya, Jack Utzerath, Adonijah O. Farner, Hunter Jenkins, Dylan Johnson, Jacob Penney, Igor Steinmacher, Marco A. Gerosa, Fabio Santos,
- Abstract要約: 私たちは、GitHubにホストされているJavaプロジェクトから現在の問題を抽出し、これらの問題を解決するのに必要なマルチレベルプログラミングスキルを予測する新しいツール、SkillScopeを紹介します。
ケーススタディでは、SkillScopeが91%の精度、88%のリコール、平均89%のF尺度で217のマルチレベルスキルを予測できることを示した。
- 参考スコア（独自算出の注目度）: 8.890715113245877
- License:
- Abstract: New contributors often struggle to find tasks that they can tackle when onboarding onto a new Open Source Software (OSS) project. One reason for this difficulty is that issue trackers lack explanations about the knowledge or skills needed to complete a given task successfully. These explanations can be complex and time-consuming to produce. Past research has partially addressed this problem by labeling issues with issue types, issue difficulty level, and issue skills. However, current approaches are limited to a small set of labels and lack in-depth details about their semantics, which may not sufficiently help contributors identify suitable issues. To surmount this limitation, this paper explores large language models (LLMs) and Random Forest (RF) to predict the multilevel skills required to solve the open issues. We introduce a novel tool, SkillScope, which retrieves current issues from Java projects hosted on GitHub and predicts the multilevel programming skills required to resolve these issues. In a case study, we demonstrate that SkillScope could predict 217 multilevel skills for tasks with 91% precision, 88% recall, and 89% F-measure on average. Practitioners can use this tool to better delegate or choose tasks to solve in OSS projects.
- Abstract（参考訳）: 新しいコントリビュータは、新しいオープンソースソフトウェア(OSS)プロジェクトに参加するときに、取り組めるタスクを見つけるのに苦労することが多い。
この難しさの1つの理由は、課題トラッカーが与えられたタスクを成功させるために必要な知識やスキルの説明を欠いていることである。
これらの説明は複雑で生産に時間がかかる。
過去の研究は、問題の種類、課題難易度、課題スキルをラベル付けすることで、この問題に部分的に対処してきた。
しかし、現在のアプローチはラベルの小さなセットに限られており、セマンティクスの詳細な詳細がないため、コントリビュータが適切な問題を特定するのに十分な助けにならない可能性がある。
本稿では,この制限を克服するために,大規模言語モデル (LLM) とランダムフォレスト (RF) を探索し,オープンな問題を解決するために必要なマルチレベルスキルを予測する。
私たちは、GitHubにホストされているJavaプロジェクトから現在の問題を抽出し、これらの問題を解決するのに必要なマルチレベルプログラミングスキルを予測する新しいツール、SkillScopeを紹介します。
ケーススタディでは、SkillScopeが91%の精度、88%のリコール、平均89%のF尺度で217のマルチレベルスキルを予測できることを示した。
このツールを使って、OSSプロジェクトで解決すべきタスクを委譲したり、選択したりすることができる。
関連論文リスト
- MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。
ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。
3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-07-18T00:58:41Z) - Metacognitive Capabilities of LLMs: An Exploration in Mathematical Problem Solving [86.04158840879727]
そこで我々は,強力なLLMを付与し,有能なスキルラベルを数学の質問に割り当てるための,プロンプト誘導型対話手法を開発した。
次に、セマンティッククラスタリングを行い、スキルラベルの粗いファミリーを取得する。
これらの粗いスキルラベルは人間に解釈可能である。
論文 参考訳（メタデータ） (2024-05-20T17:45:26Z) - Creating a Trajectory for Code Writing: Algorithmic Reasoning Tasks [0.923607423080658]
本稿では,楽器とその検証に用いる機械学習モデルについて述べる。
我々は,学期最後の週に導入プログラミングコースで収集したデータを用いてきた。
先行研究は、ARTタイプの楽器を特定の機械学習モデルと組み合わせて効果的な学習軌道として機能させることができることを示唆している。
論文 参考訳（メタデータ） (2024-04-03T05:07:01Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-12-20T02:34:11Z) - Tag that issue: Applying API-domain labels in issue tracking systems [20.701637107734996]
完了に必要なスキルをラベル付けすることで、コントリビュータがオープンソースプロジェクトのタスクを選択するのに役立ちます。
ハイレベルなAPIカテゴリである“APIドメイン”と呼ばれる問題の自動ラベリングの実現可能性と妥当性について検討する。
以上の結果から, 課題選択に有用なAPIドメインラベル, (ii) ラベルの精度は84%, 平均で78.6%, (iii) 予測結果が71.3%, 52.5%まで到達した。
論文 参考訳（メタデータ） (2023-04-06T05:49:46Z) - GiveMeLabeledIssues: An Open Source Issue Recommendation System [9.312780130838952]
開発者はしばしば、オープンソースソフトウェア(OSS)プロジェクトのイシュートラッキングシステムをナビゲートして、適切なタスクを見つけるのに苦労します。
本稿では,プロジェクトリポジトリをマイニングし,課題を解決に必要なスキルに基づいてラベル付けするツールを提案する。
GiveMeLabeledIssuesは開発者のスキルとタスクのマッチングを容易にし、プロジェクトのメンテナの負担を軽減する。
論文 参考訳（メタデータ） (2023-03-23T16:39:31Z) - Supporting the Task-driven Skill Identification in Open Source Project
Issue Tracking Systems [0.0]
コントリビュータがコントリビュータのタスクを選択するのを支援するために,オープンイシュー戦略の自動ラベル付けについて検討する。
スキルを特定することで、コントリビュータ候補はより適切なタスクを選択するべきだ、と私たちは主張する。
本研究では,実験におけるラベルの関連性を定量的に分析し,戦略の相対的重要性を比較した。
論文 参考訳（メタデータ） (2022-11-02T14:17:22Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - Hierarchical Skills for Efficient Exploration [70.62309286348057]
強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。
下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。
教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-20T22:29:32Z) - Can I Solve It? Identifying APIs Required to Complete OSS Task [16.13269535068818]
タスク完了に必要なAPIのドメインに対するラベリング問題の実現可能性と関連性を検討する。
問題の記述とプロジェクト履歴を利用して予測モデルを構築し,精度を最大82%まで向上させ,最大97.8%をリコールした。
私たちの結果は、問題を自動的にラベル付けするツールの作成を刺激し、開発者がスキルに合致するタスクを見つけるのに役立ちます。
論文 参考訳（メタデータ） (2021-03-23T16:16:09Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳（メタデータ） (2020-09-04T15:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。