論文の概要: RAG-Reflect: Agentic Retrieval-Augmented Generation with Reflections for Comment-Driven Code Maintenance on Stack Overflow

• arxiv url: http://arxiv.org/abs/2604.22217v1
• Date: Fri, 24 Apr 2026 04:49:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.341638
• Title: RAG-Reflect: Agentic Retrieval-Augmented Generation with Reflections for Comment-Driven Code Maintenance on Stack Overflow
• Title（参考訳）: RAG-Reflect: スタックオーバーフローにおけるコメント駆動コードメンテナンスのためのリフレクション付きエージェント検索拡張ジェネレーション
• Authors: Mehedi Hasan Shanto, Muhammad Asaduzzaman, Alioune Ngom,
• Abstract要約: 本稿では,エージェントAIの原則がRAG-Reflectを提示することにより,ソフトウェアメンテナンスタスクに革命をもたらすことを示す。 RAG-Reflectは、タスク固有のトレーニングなしで有効なコメント編集予測のための微調整レベルのパフォーマンスを実現するモジュラーフレームワークである。 我々は、公開SOUPベンチマークでRAG-Reflectを評価し、精度が0.81、リコールが0.74、F1が0.78である。
• 参考スコア（独自算出の注目度）: 0.5607590231264274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User comments on online programming platforms such as Stack Overflow play a vital role in maintaining the correctness and relevance of shared code examples. However, the majority of comments express gratitude or clarification, while only a small fraction highlight actionable issues that drive meaningful edits. This paper demonstrates how agentic AI principles can revolutionize software maintenance tasks by presenting RAG-Reflect, a modular framework that achieves fine-tuned-level performance for valid comment-edit prediction without task-specific training. Valid Comment-Edit Prediction (VCP) is the task of determining whether a user comment directly triggered a subsequent code edit. The framework integrates large language models (LLMs) with retrieval-augmented reasoning and self-reflection mechanisms. RAG-Reflect operates through a three-stage runtime workflow built on a one-time pattern analysis phase. During initialization, an Interpretation module analyzes the knowledge base to generate validation rules. At inference time, the system (1) retrieves contextual examples, (2) reasons about comment-edit causality, and (3) reflects on decisions using the pre-established rules. We evaluate RAG-Reflect on the publicly available SOUP benchmark, achieving Precision = 0.81, Recall = 0.74, and F1 = 0.78, outperforming traditional baselines (e.g., Logistic Regression, XGBoost, different prompting techniques) and closely approaching the performance of fine-tuned models (F1 = 0.773) without retraining. Our ablation and stage-level analyses show that both retrieval and reflection modules substantially enhance performance.
• Abstract（参考訳）: Stack Overflowのようなオンラインプログラミングプラットフォームにおけるユーザコメントは、共有コード例の正確性と関連性を維持する上で重要な役割を果たす。 しかし、コメントの大多数は感謝や明確化を表明している一方で、意味のある編集を促進する実行可能な問題を強調しているのはごくわずかである。 本稿では,エージェントAIの原則が,タスク固有のトレーニングを使わずに,適切なコメント編集予測を行うための微調整レベルのパフォーマンスを実現するモジュールフレームワークであるRAG-Reflectを提示することにより,ソフトウェアメンテナンスタスクに革命をもたらすことを示す。 Valid Comment-Edit Prediction (VCP) は、ユーザのコメントが後続のコード編集を直接トリガーするかどうかを判断するタスクである。 このフレームワークは、大規模な言語モデル(LLM)と、検索強化推論と自己回帰機構を統合している。 RAG-Reflectは、ワンタイムパターン分析フェーズ上に構築された3段階のランタイムワークフローを介して動作する。 初期化中、解釈モジュールは知識ベースを分析して検証ルールを生成する。 推測時,(1) は文脈的事例を検索し,(2) コメント-編集因果関係の理由を抽出し,(3) 予め確立されたルールを用いて決定を反映する。 我々は、一般に公開されているSOUPベンチマークでRAG-Reflectを評価し、精度0.81、リコール0.74、F1 = 0.78を達成し、従来のベースライン(例えば、ロジスティック回帰、XGBoost、異なるプロンプト技術)を上回り、微調整されたモデル(F1 = 0.773)の性能にリトレーニングなしで近づいた。 アブレーションおよびステージレベルの解析により,検索モジュールと反射モジュールの両方が性能を著しく向上することが示された。

関連論文リスト

• Sphinx: Benchmarking and Modeling for LLM-Driven Pull Request Review [37.98161722413899]
  プルリクエスト(PR)レビューは、ソフトウェア品質を保証する上で不可欠だが、ノイズの多い監視、限られたコンテキスト理解、不適切な評価指標のため、依然として難しい。 提案するPRレビュー用統合フレームワークであるSphinxは,(1)擬似修飾コードとマージコードを比較することによって,文脈に富んだ,意味論的根拠のあるレビューコメントを生成する構造化データ生成パイプライン,(2)実行可能な検証ポイントの構造化カバレッジに基づいてレビュー品質を評価するチェックリストに基づく評価ベンチマーク,(3)ルールベースで解釈可能な報酬を用いて,モデル動作を現実と整合させる新しいトレーニングパラダイムであるCRPOである。
  論文  参考訳（メタデータ） (2026-01-06T18:49:56Z)
• InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
  大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。 対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:26:29Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• From Sufficiency to Reflection: Reinforcement-Guided Thinking Quality in Retrieval-Augmented Reasoning for LLMs [13.410543801811992]
  本稿では既存のRAG推論モデルを分析し,3つの障害パターンを同定する。 本稿では,思考検索と多次元報酬システムを用いた新しいフレームワークTIRESRAG-R1を提案する。 4つのマルチホップQAデータセットの実験により、TIRESRAG-R1はRAG法よりも優れており、シングルホップタスクに適していることが示された。
  論文  参考訳（メタデータ） (2025-07-30T14:29:44Z)
• Effective Inference-Free Retrieval for Learned Sparse Representations [19.54810957623511]
  Learned Sparse Retrieval (LSR)は、学習された単語の袋にテキストをエンコードするために訓練済みの言語モデルを利用する効果的なIRアプローチである。 近年,新たな効率的な逆インデックスベース検索エンジンが提案されており,LSRモデルのトレーニングにおいて正規化の役割が変化したのか,という自然な疑問が投げかけられている。 より効率的なLSRエンコーダを生成するために、正規化を緩和できることが示される。
  論文  参考訳（メタデータ） (2025-04-30T09:10:46Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• FeedbackEval: A Benchmark for Evaluating Large Language Models in Feedback-Driven Code Repair Tasks [28.849481030601666]
  本稿では,大規模言語モデルのフィードバック理解と性能を評価するベンチマークであるFeedbackEvalを紹介する。 我々は,GPT-4o,Claude-3.5,Gemini-1.5,GLM-4,Qwen2.5の5つの最先端LCMについて総合的研究を行った。 その結果, 構造的フィードバック, 特にテストフィードバックの形では, 修復成功率が最も高く, 非構造的フィードバックは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2025-04-09T14:43:08Z)
• SCREWS: A Modular Framework for Reasoning with Revisions [58.698199183147935]
  我々は、リビジョンを伴う推論のためのモジュラーフレームワークであるSCREWSを紹介する。 我々は、SCREWSが、共通のフレームワークの下で、いくつかの以前のアプローチを統合することを示す。 我々は,多種多様な推論タスクに基づいて,最先端のLCMを用いてフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-09-20T15:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。