論文の概要: Reinforcement learning to improve large language model-based automated code compliance systems

• arxiv url: http://arxiv.org/abs/2606.22402v1
• Date: Sun, 21 Jun 2026 09:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 18:25:47.946048
• Title: Reinforcement learning to improve large language model-based automated code compliance systems
• Title（参考訳）: 大規模言語モデルに基づく自動コードコンプライアンスシステムの改善のための強化学習
• Authors: Jack Wei Lun Shi, Minghao Dang, Wawan Solihin, Leong Hien Poh, Justin K. W. Yeoh,
• Abstract要約: 本稿では、教師付き微調整を用いてLLMにドメイン知識を注入する2段階フレームワークであるP4IRを紹介する。 このフレームワークは、ツリー編集距離とトークンレベルのレベンシュテイン距離の最大23.8%と38.6%の削減を実現している。
• 参考スコア（独自算出の注目度）: 1.0760732143259102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM)-based approaches for automated code compliance (ACC) of building regulations are prone to generating incorrect and hallucinated computer-processable rules. This paper introduces P4IR, a two-stage framework that uses supervised fine-tuning (SFT) to instill domain knowledge in an LLM, followed by Group Relative Policy Optimization (GRPO) to improve the accuracy of the generated intermediate representations in the form of high-level code skeletons. The framework achieved reductions of up to 23.8% and 38.6% in tree edit distance and token-level Levenshtein distance respectively, relative to the SFT baselines. Comparative analysis demonstrates that this approach in a zero-shot setting outperforms leading LLMs in both code structure and semantics, specifically Claude Opus and Sonnet 4.5, GPT-5.2, Qwen-3-Max, and GLM-4.7, evaluated via few-shot prompting. Additionally, the GRPO stage produced a small yet statistically significant reduction in false positives. By combining SFT with GRPO to optimize directly for domain-specific objectives, this approach offers a path toward more accurate and reliable LLM-based ACC systems.
• Abstract（参考訳）: ビルド規則の自動コードコンプライアンス(ACC)に対するLLM(Large Language Model)ベースのアプローチは、不正で幻覚的なコンピュータ処理可能なルールを生成する傾向にある。 本稿では、教師付き微調整(SFT)を用いてLLMのドメイン知識を注入する2段階フレームワークであるP4IRと、高レベルのコードスケルトンで生成された中間表現の精度を向上させるためのグループ相対ポリシー最適化(GRPO)を紹介する。 このフレームワークは、SFTベースラインと比較して、ツリー編集距離とトークンレベルのレベンシュテイン距離の最大23.8%と38.6%の削減を達成した。 比較分析によると、このアプローチはコード構造とセマンティクスの両方においてLLMをリードするゼロショット設定において優れており、特にClaude OpusとSonnet 4.5、GPT-5.2、Qwen-3-Max、GLM-4.7は、数ショットプロンプトによって評価されている。 さらに、GRPOの段階では、偽陽性が小さいが統計的に有意な減少が見られた。 SFTとGRPOを組み合わせてドメイン固有の目的を直接最適化することにより、より正確で信頼性の高いLCMベースのACCシステムへの道筋を提供する。

関連論文リスト

• From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring [2.3843476850953995]
  大規模言語モデル (LLM) が最近,自動エッセイスコーリング (AES) を改定した。 本稿では,LLM をベースとした主要な AES パラダイムを包括的に比較する。 この結果から,k-SFTとRAGを組み合わせた構成がF1-Score 93%で最強となる精度・コスト・ロバスト性トレードオフが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-06T15:59:32Z)
• Lookahead Path Likelihood Optimization for Diffusion LLMs [31.01208893976334]
  本稿では,下流の精度と強く相関する軌道条件付き目標であるパスログ類似度(Path LL)を導入し,非マスキング経路の原理的選択を可能にする。 推定時刻におけるPath LLの最適化のために,部分復号軌道の予測を行う効率の良い値推定器POKEを提案する。 次に、このルックアヘッド信号をモンテカルロをベースとした探索フレームワークであるPOKE-SMCに統合し、最適なアンマスクパスを動的に識別する。
  論文  参考訳（メタデータ） (2026-02-03T13:12:41Z)
• GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning [106.98018881499362]
  GEPA(Genetic-Pareto)は、自然言語を徹底的に組み込んで、試行錯誤から高度なルールを学ぶプロンプトである。 GEPAはシステムレベルの軌跡(推論、ツールコール、ツールアウトプットなど)をサンプリングし、自然言語でそれらを反映して問題を診断する。 ほんの数回だけロールアウトしても、大きな品質向上に繋がることが多い。
  論文  参考訳（メタデータ） (2025-07-25T17:42:32Z)
• Token-Efficient RL for LLM Reasoning [0.02488650627593658]
  本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。 ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。 提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
  論文  参考訳（メタデータ） (2025-04-29T14:58:43Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning - A Convex Optimization Perspective [55.66517396157806]
  オープンソースLLMのポストトレーニングにおいて広く採用されているアプローチは、SFTとRLHF/DPOのシーケンシャルな実行である。 これはSFTとRLHF/DPOのトレードオフの点において最適である。 本稿では,理論収束保証と逐次後学習フレームワークの性能を実証的に向上させる,実践的な後学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-20T19:38:41Z)
• DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
  大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。 開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。 デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-27T12:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。