論文の概要: GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation

• arxiv url: http://arxiv.org/abs/2608.11787v1
• Date: Wed, 12 Aug 2026 08:28:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.519329
• Title: GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation
• Title（参考訳）: GRPO : CATE評価による業務用LCMの性能向上
• Abstract要約: 我々は、強化学習問題として金融アドバイス生成を定式化する。 グループ相対政策最適化を用いたオープンウェイト言語モデルを微調整する。 私たちの報酬はLDM-as-a-judgeルーブリックで、アドバイス品質の複数の次元でそれぞれのレコメンデーションをスコア付けします。
• 参考スコア（独自算出の注目度）: 2.2936251006503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating actionable financial advice from business records demands that models integrate numerical reasoning, domain knowledge, and sound judgment, while avoiding recommendations that could harm the business. Direct supervision is difficult: historical decisions are not necessarily optimal, and high-quality free-form labels are expensive to obtain. We formulate financial advice generation as a reinforcement learning problem and fine-tune an open-weight language model using Group Relative Policy Optimization (GRPO). Our reward is an LLM-as-a-judge rubric that scores each recommendation across multiple binary dimensions of advice quality, augmented with a safety gate for harm prevention. Since LLM-based evaluation alone cannot confirm whether improvements reflect genuine business value rather than adaptation to the judge, we complement it with a judge-independent audit based on a standard doubly-robust Conditional Average Treatment Effect (CATE) estimator. Under this observational off-policy audit, our trained LLM achieves approximately twice the estimated gross-profit lift of the strongest evaluated commercial baseline ($0.0228$ vs.\ $0.0104$), together with the lowest downside rate and the least negative tail risk of any policy evaluated. Notably, the two evaluations do not rank the baselines identically: the untrained base model places last on the judge rubric but second on the causal audit, indicating that the audit captures a signal the judge does not. Our results demonstrate that GRPO with a finance-grounded reward signal can produce substantially more useful business recommendations than commercial LLMs, and that a judge-independent causal audit is a valuable complement to, rather than a confirmation of, LLM-as-a-judge assessment in financial NLP.
• Abstract（参考訳）: ビジネスレコードから実行可能な金融アドバイスを生成するためには、モデルがビジネスに害を与えるようなレコメンデーションを避けながら、数値推論、ドメイン知識、健全な判断を統合する必要がある。 直接的な監督は困難であり、歴史的決定は必ずしも最適ではなく、高品質のフリーフォームラベルを得るには高価である。 我々は、強化学習問題として金融アドバイス生成を定式化し、グループ相対政策最適化(GRPO)を用いてオープンウェイト言語モデルを微調整する。 我々の報酬はLSM-as-a-judgeルーブリックで、複数の2次元のアドバイス品質のレコメンデーションをスコア付けし、安全ゲートを付加して安全対策を図っている。 LLMに基づく評価だけでは、改善が審査員への適応よりも真のビジネス価値を反映しているかどうかを確認できないため、標準的な2倍の条件平均処理効果(CATE)推定器に基づく判断非依存の監査で補完する。 この観察的非政治監査の下で、トレーニングされたLCMは、最も評価の高い商業ベースライン(0.0228ドル対)の総利益額の約2倍を達成しました。 0.0104ドル)で、最低のマイナス金利と、評価された政策の最小マイナスのテールリスクと共に。 特に、2つの評価は、基準線を同一にランク付けしない: 訓練されていないベースモデルは、審査官のルーリックに続き、2番目は因果監査に続き、監査が、審査官がしない信号をキャプチャすることを示す。 以上の結果から,財務的な報酬信号を持つGRPOは商業用LPMよりもはるかに有用なビジネスレコメンデーションを実現できることが示され,審査非独立因果監査は財務NLPにおけるLCM-as-a-judgeアセスメントの確認よりも有意義な補完となることが示唆された。

関連論文リスト

• LLM-as-a-Judge for Evaluating System Responses in Conversational Music Recommendation [20.276417246845593]
  本稿では,CRS応答評価のためのLCM-as-a-judgeの信頼性を実証的に評価する最初のユーザスタディを提案する。 20のドメインエキスパートアノテータから$n=400$のレーティングを収集し、各レスポンスをパーソナライズ品質と説明品質の2つの次元にわたって評価する。 LLMに基づく審査員は、人間の評価と適度な正の一致を示し、基準ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-07-28T12:26:55Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• ValueBlindBench: Agreement-Gated Stress Testing of LLM-Judged Investment Rationales Before Returns Are Observable [1.8689252029357564]
  本稿では,事前登録された合意付きストレステストプロトコルであるValueBlindBenchを紹介する。 ValueBlindBench は LLM-judged Investment-rationale のクレームがパブリッシュ可能、資格あり、無効かを決定する。
  論文  参考訳（メタデータ） (2026-04-28T05:04:20Z)
• Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training [75.98427023288052]
  LLM(Reasoning LLMs-as-Judges)は、推論モデルの成功を検証不可能な領域に拡張するための有望な道を提供する。 本研究では、強化学習に基づくLLMアライメントにおける非推論および推論判断の実際の影響について検討した。 我々は,高い効率の対向出力を生成することを学ぶことによって,理性判断訓練された政策が,そのような高い性能を達成することを見出した。
  論文  参考訳（メタデータ） (2026-03-12T17:57:06Z)
• Understanding LLM Evaluator Behavior: A Structured Multi-Evaluator Framework for Merchant Risk Assessment [26.786161923794115]
  大規模言語モデル(LLM)は、推論品質の評価手段としてますます使われていますが、その信頼性と支払いリスク設定の偏りはよく分かっていません。 本稿では,Merchant Category Code(MCC)に基づく商業リスク評価において,LCM推論を評価するための構造化マルチ評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-04T22:55:16Z)
• Ask a Strong LLM Judge when Your Reward Model is Uncertain [46.41334493044746]
  本稿では,高速RMを高速に補う不確実性に基づくルーティングフレームワークを提案する。 本手法は,政策勾配法(PG法)において,一対の選好分類として有利な推定を定式化する。 RMベンチマークの実験により、我々の不確実性に基づくルーティング戦略は、同じコストでランダム判定よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-10-23T09:09:13Z)
• HALF: Harm-Aware LLM Fairness Evaluation Aligned with Deployment [52.374772443536045]
  HALF(Harm-Aware LLM Fairness)は、現実的なアプリケーションにおけるモデルバイアスを評価し、有害度によって結果を評価するフレームワークである。 HALFは、以前のベンチマークの成功とデプロイメントの準備の整合性の間に明らかなギャップがあることを示します。
  論文  参考訳（メタデータ） (2025-10-14T07:13:26Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• JudgeLRM: Large Reasoning Models as a Judge [80.07261839142548]
  判断指向大規模言語モデル(LLM)のファミリーであるジャッジLRMを紹介する。 SFTの性能向上と推論要求サンプルの比率との間には負の相関が見られ、これらのシナリオにおけるSFTの限界が明らかになる。 判定LRMは、他のRLおよびSFTの変種と同様に、同じサイズでSFTチューニングベースラインを一貫して上回り、最先端の推論モデルを超えていることを示す。
  論文  参考訳（メタデータ） (2025-03-31T02:18:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。