論文の概要: Long Text to Predictive Features: LLM-Guided Blockwise Feature Engineering via Executable Program Search

• arxiv url: http://arxiv.org/abs/2610.12390v1
• Date: Thu, 08 Oct 2026 17:39:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.230456
• Title: Long Text to Predictive Features: LLM-Guided Blockwise Feature Engineering via Executable Program Search
• Title（参考訳）: 長文から予測的特徴:実行可能プログラム探索によるLLM誘導ブロックワイド特徴工学
• Abstract要約: 産業リスク制御システムは効率的な予測のために構造化データモデルに頼っているが、重要な情報は構造化されていない長いテキストに埋もれている。 長文を実行可能な機能プログラムに変換するオフライン機能構築フレームワーク LLM-BlockFE を提案する。
• 参考スコア（独自算出の注目度）: 8.345561387049946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Industrial risk-control systems typically rely on structured-data models for efficient prediction, yet substantial valuable information remains embedded in unstructured long text. Extracting this information through manual feature engineering is labor-intensive, while requiring a large language model (LLM) to process every real-time input may not meet practical deployment requirements. To address this challenge, we propose LLM-BlockFE, an LLM-guided offline feature construction framework that converts long text into executable feature programs, thereby avoiding LLM calls during online inference. LLM-BlockFE constructs feature programs by incrementally appending immutable code blocks and evaluates candidate features using a downstream model. To address the tendency of conventional greedy search to become trapped in suboptimal solutions, our method introduces a block-level rollback mechanism based on depth-calibrated credit allocation and advances multiple independent search trajectories in an interleaved manner, reducing redundant exploration by sharing fixed descriptions of each trajectory's exploration direction. After the search, the resulting programs are frozen and deployed to extract structured features for downstream prediction models. Across two public and two private datasets, LLM-BlockFE achieves absolute AUC improvements of 0.0069 to 0.0358 over the strongest baseline on each dataset in the full-dataset comparison. Post-launch monitoring across five deployed financial risk-control applications shows absolute KS improvements of 0.02 to 1.56 percentage points over the existing manually designed strategy.
• Abstract（参考訳）: 産業リスク制御システムは通常、効率的な予測のために構造化データモデルに依存するが、重要な情報は構造化されていない長いテキストに埋もれている。 この情報を手動のフィーチャーエンジニアリングで抽出することは労働集約的であり、全てのリアルタイム入力を処理するために大きな言語モデル(LLM)を必要とする場合、実際のデプロイメント要件を満たしない可能性がある。 この課題に対処するために,LLM-BlockFEを提案する。LLM-BlockFEは,長いテキストを実行可能な機能プログラムに変換し,オンライン推論中のLLM呼び出しを避けるための,LLM誘導のオフライン機能構築フレームワークである。 LLM-BlockFEは不変のコードブロックを漸進的に付加して機能プログラムを構築し、下流モデルを用いて候補機能を評価する。 提案手法は,従来のグリーディ探索が最適解に閉じ込められる傾向に対処するため,深さ校正されたクレジットアロケーションに基づくブロックレベルのロールバック機構を導入し,複数の独立したサーチトラジェクトリをインターリーブ方式で前進させ,各トラジェクトリの探索方向の定式記述を共有することで冗長な探索を低減する。 探索後、結果のプログラムは凍結して展開され、下流予測モデルのための構造化された特徴を抽出する。 2つのパブリックデータセットと2つのプライベートデータセットにまたがって、LLM-BlockFEはフルデータセット比較において各データセット上で最強のベースラインに対して0.0069から0.0358の絶対的なAUC改善を達成する。 5つのデプロイされた金融リスク管理アプリケーションに対する起動後の監視では、既存の手作業による戦略よりも0.02から1.56ポイントの絶対的なKS改善が示されている。

関連論文リスト

• Complex LLM Planning via Automated Heuristics Discovery [48.07520536415374]
  複雑な計画タスクのための大規模言語モデル(LLM)の強化を検討する。 我々は,LLMがガイドタイム検索の関数を明示的に生成できる新しい手法である自動推論発見(AutoHD)を提案する。 提案手法はモデルトレーニングや微調整を必要とせず,LLMが生成する関数の明示的な定義は推論過程の解釈可能性と洞察を与える。
  論文  参考訳（メタデータ） (2025-02-26T16:52:31Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction [8.705908108054878]
  大型モデル(LLM)は、多くのドメインにわたるAIアプリケーションの新しい波を駆動している。 LLM出力シーケンス長の予測に光プロキシモデルを用いる投機的ショートストジョブファースト(SSJF)スケジューラを提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:46:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。