論文の概要: Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

• arxiv url: http://arxiv.org/abs/2607.06175v1
• Date: Tue, 07 Jul 2026 11:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.506018
• Title: Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design
• Title（参考訳）: 強化学習によるLLM生成プロセスモデルの品質向上:逆関数設計の役割
• Abstract要約: 大規模言語モデル(LLM)は自然言語記述からBPMNプロセスモデルを生成することができる。 Supervised Fine-tuning (SFT)は、トレーニングデータに存在するパターンに出力品質を制限します。 本稿では,RLに基づくプロセスモデル生成のための報酬関数設計を体系的に検討する。
• 参考スコア（独自算出の注目度）: 43.328395470827665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can generate BPMN process models from natural-language descriptions, yet supervised fine-tuning (SFT) limits their output quality to the patterns present in the training data. Reinforcement learning (RL) can optimize beyond this ceiling using external quality measures, but how the reward function should be designed when quality is multi-dimensional remains unexplored. We present a systematic investigation of reward function design for RL-based process model generation, training two LLM families (Llama~3.1 8B, Qwen~2.5 14B) under 48 configurations using Group Sequence Policy Optimization with rewards derived from an automated evaluation framework comprising 38 metrics across syntactic, pragmatic, and semantic quality. Three findings emerge. First, RL significantly improves pragmatic and syntactic quality while preserving semantic fidelity, reducing output variability by more than sixfold. Second, equal reward weighting consistently outperforms targeted weighting: emphasizing a specific dimension fails to improve it and can collapse the model into a low-quality mode. Third, design choices interact with model architecture in non-trivial ways: the invalidity penalty is essential for one model but irrelevant for the other, and SFT initialization is indispensable for one architecture but counterproductive for another. These results demonstrate that reward composition is a primary determinant of optimization outcomes, with effects as large as the decision to apply RL itself. The findings generalize to any structured generation task where quality is assessed along multiple automated dimensions. We release our implementation and experimental code at https://github.com/chlauer99/RL_for_process_modeling.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語記述からBPMNプロセスモデルを生成することができるが、教師付き微調整(SFT)は、その出力品質をトレーニングデータに存在するパターンに制限する。 強化学習(Reinforcement Learning, RL)は, 外部品質尺度を用いて天井の向こう側に最適化することができるが, 品質が多次元である場合, 報酬関数をどのように設計するかは未解明のままである。 RLに基づくプロセスモデル生成のための報酬関数設計を体系的に検討し、グループシーケンスポリシー最適化を用いて48の構成で2つのLLMファミリー(Llama~3.1 8B, Qwen~2.5 14B)を訓練する。 3つの発見がある。 第一に、RLは意味的忠実性を保ちながら実用的・統語的品質を著しく改善し、出力の変動を6倍以上に抑える。 第2に、均等報酬重み付けは目標重み付けよりも一貫して優れており、特定の次元を強調することは改善に失敗し、モデルを低品質モードに分解することができる。 第3に、設計選択はモデルアーキテクチャと非自明な方法で相互作用する: 無効性ペナルティは1つのモデルに必須であるが、他方には無関係であり、SFT初期化は1つのアーキテクチャには不可欠だが、別のアーキテクチャには非生産的である。 これらの結果は、報酬組成が最適化結果の主要な決定要因であることを示し、効果はRL自体を適用する決定に匹敵するものである。 この結果は、品質が複数の自動次元に沿って評価されるような構造化された生成タスクに一般化される。 実装と試験コードをhttps://github.com/chlauer99/RL_for_process_modelingでリリースします。

関連論文リスト

• An empirical study of LoRA-based fine-tuning of large language models for automated test case generation [5.182076496564637]
  本稿では,パラメータ効率の高いファインチューニング,特にLoRAを用いた要件ベースのテストケース生成に関する総合的研究について述べる。 オープンソースおよびプロプライエタリモデルを含む複数のLLMファミリーを統一実験パイプラインで評価する。 実験により,LoRAをベースとしたファインチューニングにより,すべてのオープンソースモデルの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-04-08T11:09:49Z)
• Dual-Phase LLM Reasoning: Self-Evolved Mathematical Frameworks [48.105258051884384]
  本稿では,モデルの自己補正能力を高めるための2段階トレーニングフレームワークを提案する。 最初の段階では、マルチターン対話戦略がモデルをガイドし、長いチェーン・オブ・シント(CoT)データを生成する。 第2段階では、データの分散を動的に最適化する難易度の高い拒絶サンプリング機構を採用している。
  論文  参考訳（メタデータ） (2026-01-09T08:19:11Z)
• RL-Struct: A Lightweight Reinforcement Learning Framework for Reliable Structured Output in LLMs [0.08594140167290097]
  大規模言語モデル(LLM)は、自然言語の生成と推論において顕著な能力を示した。 自動化されたソフトウェアエコシステムへの統合は、しばしば"構造ギャップ"によって妨げられます。 このギャップを埋めるための軽量で効率的な強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-29T04:47:14Z)
• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Solver-Informed RL: Grounding Large Language Models for Authentic Optimization Modeling [3.253908111652627]
  大型言語モデル(LLM)は、しばしば幻覚に対する形式的正当で使用可能なモデルを生成するのに苦労する。 本稿では,検証リワードを用いた強化学習を用いた最適化モデルのためのLLMの信頼性を向上する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-17T02:32:03Z)
• Evolving LLMs' Self-Refinement Capability via Synergistic Training-Inference Optimization [53.93621974137829]
  自己精製(Self-Refinement)とは、モデルが自身のレスポンスを改訂し、改善された出力を生成する能力を指す。 EVOLVEは、反復的なトレーニングを通じて自己精製の進化を導き、追跡するためのフレームワークである。 固有モデル能力のより広範な自己改善を実現するために自己改善を活用する可能性を実証する。
  論文  参考訳（メタデータ） (2025-02-08T15:21:55Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Large Language Model Agent as a Mechanical Designer [7.136205674624813]
  本研究では、FEMモジュールと協調して事前訓練された大規模言語モデル(LLM)を利用して、構造設計を自律的に生成、評価、洗練するフレームワークを提案する。 LLMはドメイン固有の微調整なしで動作し、設計候補を提案し、FEMから派生した性能指標を解釈し、構造的な音響修正を適用する。 NSGA-II (Non-Sorting Genetic Algorithm II) と比較して,本手法はより高速に収束し,より少ないFEM評価を実現する。
  論文  参考訳（メタデータ） (2024-04-26T16:41:24Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。