論文の概要: Fine-Tuning Large Language Models to Classify Pull Request-Issue Alignments: Going Beyond Prompting

• arxiv url: http://arxiv.org/abs/2609.01087v1
• Date: Tue, 01 Sep 2026 11:25:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.603963
• Title: Fine-Tuning Large Language Models to Classify Pull Request-Issue Alignments: Going Beyond Prompting
• Title（参考訳）: プル要求のアライメントを分類する大規模言語モデルの微調整 - プロンプトを超えて
• Authors: Mustafa Yasir Altunhan, Hüseyin Özgür Kamalı, Eray Tüzün,
• Abstract要約: 本研究では、細調整された大言語モデル(LLM)を活用することにより、自動PR課題アライメント分類を改善することを目的とする。 微調整のLLMは精度が6.15%、F1-microが14.69%、F1-macroが6.15%、リコールが6.15%向上した。
• 参考スコア（独自算出の注目度）: 1.4465033892011254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context: Accurate alignment between pull requests (PRs) and corresponding issues is crucial for efficient software development and maintaining code quality, as misalignments can reduce traceability, hinder defect localization, and decrease maintainability. Objective: This study aims to improve automated PR-issue alignment classification by leveraging fine-tuned large language models (LLMs) across multiple alignment categories, and conducts interpretability analysis to investigate the effects of PR-issue fields on the predictions of fine-tuned LLMs. Method: Our methodology consists of dataset preparation, LLM fine-tuning, and interpretability analysis. We first extended an existing dataset and applied data augmentation to address class imbalance. GPT-4o was then fine-tuned via instruction tuning, and open-source LLMs including CodeLlama-7B, CodeQwen1.5-7B, StableCode-3B, CodeGemma-7B, and Deepseek-Coder-6.7B were fine-tuned using classification-specific heads. Interpretability analysis using Shapley Additive Explanations (SHAP) was conducted to examine the influence of PR-issue fields on predictions for the best-performing open-source LLM. Results: Fine-tuned LLMs outperformed baseline models, achieving average improvements of 6.15% in accuracy and F1-micro, 14.69% in F1-macro, and 6.15% in recall. CodeLlama-7B emerged as the best-performing fine-tuned LLM overall, while interpretability analysis revealed that code diffs together with issue body and PR body contents exert the greatest influence on predictions. Conclusions: Fine-tuning substantially enhances PR-issue alignment classification, improving both accuracy and efficiency. Interpretability analysis provides actionable insights into the dataset features driving alignment decisions, deepening understanding of how LLMs reason over software artifacts.
• Abstract（参考訳）: コンテキスト: プルリクエスト(PR)とそれに対応する問題の正確な整合性は、トレーサビリティの低下、欠陥のローカライゼーションの障害、保守性の低下など、効率的なソフトウェア開発とコード品質維持に不可欠です。 目的: 本研究は,複数のアライメントカテゴリにまたがる細調整された大言語モデル(LLM)を活用することにより,自動PR課題アライメント分類の改善を目的とする。 方法: 提案手法は, データセット作成, LLM微調整, 解釈可能性分析から成り立っている。 まず、既存のデータセットを拡張し、クラス不均衡に対処するためにデータ拡張を適用しました。 GPT-4oはインストラクションチューニングによって微調整され、CodeLlama-7B、CodeQwen1.5-7B、StableCode-3B、CodeGemma-7B、Deepseek-Coder-6.7BといったオープンソースのLLMは分類固有のヘッドを使用して微調整された。 そこで,Shapley Additive Explanations (SHAP) を用いた解釈可能性解析を行い,PR分野がオープンソース LLM の予測に及ぼす影響について検討した。 結果: 微調整LDMはベースラインモデルより優れ、精度は6.15%、F1-microは14.69%、リコールは6.15%向上した。 CodeLlama-7Bは、全体として最も優れた微調整LDMとして出現し、解釈可能性解析により、コード拡散と発行体とPR体含量との差が予測に最も大きな影響を及ぼすことが明らかとなった。 結論: 微調整によりPRのアライメント分類が大幅に向上し、精度と効率が向上する。 解釈可能性分析は、アライメント決定を駆動するデータセット機能に対する実用的な洞察を提供し、LLMがソフトウェアアーティファクトに対してどのように理由を持つのかをより深く理解する。

関連論文リスト

• Teaching Your Models to Understand Code via Focal Preference Alignment [70.71693365502212]
  既存の手法では、テストケースの成功率に基づいてn個の候補解が評価される。 このアプローチは、特定のエラーを特定するのではなく、失敗するコードブロック全体を整列するので、意味のあるエラーと訂正の関係を捉えるのに必要な粒度が欠けている。 我々は、人間の反復デバッグを模倣してコードLLMを洗練させる新しい優先順位調整フレームワークであるTarget-DPOを提案する。
  論文  参考訳（メタデータ） (2025-03-04T16:56:34Z)
• EACO: Enhancing Alignment in Multimodal LLMs via Critical Observation [58.546205554954454]
  臨界観測(EACO)によるMLLMのアライメント向上を提案する。 EACOは、経済的に5k画像のみを使用して、MLLMを自己生成の選好データで整列する。 EACOは幻覚全体の65.6%をHalusionBenchで減らし、MME-Cognitionで21.8%改善する。
  論文  参考訳（メタデータ） (2024-12-06T09:59:47Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• Automated Data Curation for Robust Language Model Fine-Tuning [13.8454385440986]
  本稿では,データセットのチューニングを行うための自動データキュレーションパイプライン CLEAR を提案する。 CLEARは、どのトレーニングデータが低品質であるかを見積もる。 実験の結果、CLEARは多くのデータセットやモデルにまたがって微調整されたモデルの性能を一貫して改善していることがわかった。
  論文  参考訳（メタデータ） (2024-03-19T14:44:45Z)
• CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences [5.165576022684194]
  LLM-as-a-Judge法を用いて、LLMと符号化優先のアライメントを評価する。 CodeUltraFeedbackは1万のコード命令で構成され、それぞれに14 LLMの多様なプールから生成される4つの応答が注釈付けされている。 次に、教師付き微調整(SFT)とAIフィードバックからの強化学習(RLAIF)を用いたCodeLlama-7B-Instructの微調整のためのフィードバックデータとしてのCodeUltraFeedbackの利用について検討する。
  論文  参考訳（メタデータ） (2024-03-14T01:51:35Z)
• Enhancing Large Language Model Performance To Answer Questions and Extract Information More Accurately [2.1715455600756646]
  大きな言語モデル(LLM)は質問に対する応答を生成する。 それらの効果は、答えの最適でない品質や、質問に対する正確な回答を提供するための失敗によってしばしば妨げられる。 これらの課題に対処するため、モデルを改善するためのフィードバックやサンプルを含む、微調整プロセスが採用されている。
  論文  参考訳（メタデータ） (2024-01-27T00:18:07Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。