論文の概要: From Feedback Loops to Policy Updates: Reinforcement Fine-Tuning for LLM-Based Alpha Factor Discovery

• arxiv url: http://arxiv.org/abs/2605.15412v1
• Date: Thu, 14 May 2026 20:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.101272
• Title: From Feedback Loops to Policy Updates: Reinforcement Fine-Tuning for LLM-Based Alpha Factor Discovery
• Title（参考訳）: フィードバックループからポリシー更新へ:LLMに基づくアルファ因子発見のための強化細調整
• Abstract要約: 我々は,強化微調整に基づく自己進化型アルファファクター発見フレームワークであるtextscQuantEvolverを提案する。 textscQuantEvolverは高品質なシードファクタを構築し、多様なシードタイムウィンドウトレーニングタスクを構築し、実行可能なFacter DSL式を生成する。 トレーニング中、高品質な要因はMined Factor Databaseに継続的に蓄積され、最終発見ファクターライブラリとして機能する。
• 参考スコア（独自算出の注目度）: 44.198035509196785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern quantitative trading increasingly relies on systematic models to extract predictive signals from large-scale financial data, where alpha factor discovery plays a central role in transforming market observations into tradable signals. Recent LLM-based methods have shown promise in automating factor generation, but most of them still rely on prompt-level generation--evaluation--feedback loops for iterative optimization. As the loop becomes longer, repeatedly appended historical candidates and feedback can cause context explosion, increase inference cost, dilute useful information, and introduce feedback drift. Moreover, these methods often depend on very large LLMs whose stable generation preferences may lead to structurally similar expressions, redundant candidates, and search stagnation. To address these limitations, we propose \textsc{QuantEvolver}, a self-evolving alpha factor discovery framework based on reinforcement fine-tuning. Instead of accumulating feedback in the prompt, \textsc{QuantEvolver} converts executable quantitative evaluation into policy updates, enabling a Miner LLM to internalize historical optimization experience through parameter learning. Specifically, \textsc{QuantEvolver} constructs high-quality seed factors, builds diverse seed--time-window training tasks, generates executable Factor DSL expressions, evaluates them through Regime Backtest, and optimizes the Miner LLM with Diversity-Complementarity Reward. During training, high-quality factors are continuously accumulated in a Mined Factor Database, which serves as the final discovered factor library. Extensive experiments on three realistic market benchmarks demonstrate the effectiveness of \textsc{QuantEvolver}, which consistently improves the primary evaluation metric of each task over existing LLM-based alpha factor discovery baselines, produces higher-quality and more complementary factor pools.
• Abstract（参考訳）: 現代の量的トレーディングは、市場観測を取引可能な信号に変換する上でアルファ因子発見が中心的な役割を果たす大規模な金融データから予測信号を抽出する体系的なモデルにますます依存している。 近年のLCMに基づく手法は因子の自動生成において有望であるが,そのほとんどは繰り返し最適化のための高速な生成-評価-フィードバックループに依存している。 ループが長くなるにつれて、繰り返し付加された履歴候補とフィードバックがコンテキストの爆発を引き起こし、推論コストを増大させ、有用な情報を希薄化し、フィードバックドリフトを導入する。 さらに、これらの手法は、安定な生成選好が構造的に類似した表現、冗長な候補、探索の停滞につながる可能性がある非常に大きなLLMに依存していることが多い。 これらの制約に対処するため、強化微調整に基づく自己進化型アルファ因子発見フレームワークである \textsc{QuantEvolver} を提案する。 プロンプトでフィードバックを蓄積する代わりに、 \textsc{QuantEvolver} は実行可能な定量的評価をポリシー更新に変換する。 具体的には、‘textsc{QuantEvolver} は、高品質なシードファクタを構築し、多様なシードタイム・ウィンドウトレーニングタスクを構築し、実行可能なファクタ DSL 式を生成し、Regime Backtest を通じてそれらを評価し、ダイバーシティ・コンプリメンタリティ・リワードでMiner LLM を最適化する。 トレーニング中、高品質な要因はMined Factor Databaseに継続的に蓄積され、最終発見ファクターライブラリとして機能する。 既存のLSMベースのα因子発見ベースラインよりも各タスクの一次評価基準を一貫して改善し、高品質で相補的な因子プールを生成する。

関連論文リスト

• Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning [47.963236269307735]
  リランカはRetrieval-Augmented Generationの検索結果の精錬において重要な役割を果たす。 現在のリグレードモデルは通常、ダウンストリーム生成プロセスから切り離された静的な人間アノテートされた関連ラベルに独立して最適化される。 本稿では,LLMの生成品質と直接整合する強化学習フレームワークであるReRanking Preference Optimization(RRPO)を紹介する。
  論文  参考訳（メタデータ） (2026-04-02T14:19:47Z)
• Rectifying LLM Thought from Lens of Optimization [48.98086817378953]
  ロングチェーン・オブ・シンクレット (Long chain-of- Thought, CoT) は、徹底的な調査と検討を可能にする。 進歩にもかかわらず、長いCoT LLMは、しばしば最適な推論行動を示す。 ポストトレーニング中のLCM推論を洗練するための新しい手法であるReProを紹介する。
  論文  参考訳（メタデータ） (2025-12-01T17:41:08Z)
• Rethinking LLM Parametric Knowledge as Post-retrieval Confidence for Dynamic Retrieval and Reranking [23.1400319714807]
  大規模言語モデル(LLM)は、知識の範囲を超えて疑問に直面したとき、しばしば不正確な応答(幻覚)を生成する。 Retrieval-Augmented Generation (RAG)は、外部知識を活用することでこの問題に対処するが、重要な課題は、検索されたコンテキストが特定のクエリに応答する能力を効果的に強化するかどうかである。 この課題は知識境界認識の重要性を浮き彫りにしており、これは現在の手法が個別のラベルや限られた信号障害に適切に対処する方法である。
  論文  参考訳（メタデータ） (2025-09-08T09:37:20Z)
• How Do LLM-Generated Texts Impact Term-Based Retrieval Models? [76.92519309816008]
  本稿では,大規模言語モデル(LLM)が項ベース検索モデルに与える影響について検討する。 言語学的解析により,LLM生成テキストはよりスムーズで低周波なZipf勾配を示すことが明らかとなった。 本研究は,項分布がクエリと密接に一致した文書を優先して,項ベース検索モデルがソースバイアスを示すかどうかを考察する。
  論文  参考訳（メタデータ） (2025-08-25T06:43:27Z)
• DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation [23.060355911225923]
  リランカは、生成品質と説明可能性を高めるために、検索した文書の精錬において重要な役割を果たす。 本稿では,リランカが検索した文書の順序と数の両方を動的に調整する新しいRAGフレームワークであるDynamicRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-12T05:19:01Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG [36.754491649652664]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)に外部の知識ソースを利用する権限を与える。 本稿では, 回収した「ハードネガティブ」の有害な影響について考察する。 これを緩和し、長文LLMベースのRAGの堅牢性を高めるために、トレーニングフリーとトレーニングベースの両方のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:30:07Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。