論文の概要: Quantile Regression with Large Language Models for Price Prediction

• arxiv url: http://arxiv.org/abs/2506.06657v1
• Date: Sat, 07 Jun 2025 04:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.392159
• Title: Quantile Regression with Large Language Models for Price Prediction
• Title（参考訳）: 価格予測のための大規模言語モデルを用いた量子回帰
• Authors: Nikhita Vedula, Dushyanta Dhyani, Laleh Jalali, Boris Oreshkin, Mohsen Bayati, Shervin Malmasi,
• Abstract要約: 大規模言語モデル(LLM)は、回帰を含む構造化予測タスクにおいて有望であることを示している。 我々は,LLMが完全な予測分布を生成できる新しい量子レグレッション手法を提案する。 量子ヘッドを微調整したMistral-7Bモデルは、点推定と分布推定の両方において従来の手法よりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 15.277244542405345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown promise in structured prediction tasks, including regression, but existing approaches primarily focus on point estimates and lack systematic comparison across different methods. We investigate probabilistic regression using LLMs for unstructured inputs, addressing challenging text-to-distribution prediction tasks such as price estimation where both nuanced text understanding and uncertainty quantification are critical. We propose a novel quantile regression approach that enables LLMs to produce full predictive distributions, improving upon traditional point estimates. Through extensive experiments across three diverse price prediction datasets, we demonstrate that a Mistral-7B model fine-tuned with quantile heads significantly outperforms traditional approaches for both point and distributional estimations, as measured by three established metrics each for prediction accuracy and distributional calibration. Our systematic comparison of LLM approaches, model architectures, training approaches, and data scaling reveals that Mistral-7B consistently outperforms encoder architectures, embedding-based methods, and few-shot learning methods. Our experiments also reveal the effectiveness of LLM-assisted label correction in achieving human-level accuracy without systematic bias. Our curated datasets are made available at https://github.com/vnik18/llm-price-quantile-reg/ to support future research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、回帰を含む構造化予測タスクにおいて有望であるが、既存のアプローチは主に点推定に重点を置いており、異なるメソッド間で体系的な比較を欠いている。 本研究では,不規則なテキスト理解と不確実性定量化の両方が重要である価格推定のような,不規則なテキスト配信予測課題に対処するため,LLMを用いた非構造化入力に対する確率的回帰について検討する。 そこで本研究では,LLMが完全予測分布を生成できる新しい量子回帰手法を提案する。 3つの様々な価格予測データセットの広範な実験を通して、予測精度と分布キャリブレーションの3つの確立された指標によって測定されるように、量子ヘッドを微調整したMistral-7Bモデルが、点推定と分布推定の両方において従来のアプローチよりも著しく優れていることを示した。 LLMアプローチ、モデルアーキテクチャ、トレーニングアプローチ、データスケーリングの体系的比較により、Mistral-7Bはエンコーダアーキテクチャ、埋め込み方式、および少数ショット学習法を一貫して上回っていることが明らかとなった。 また, LLMを用いたラベル補正が, 体系的バイアスを伴わずに, 人体レベルでの精度向上に有効であることを明らかにする。 キュレートされたデータセットはhttps://github.com/vnik18/llm-price-quantile-reg/で公開されています。

関連論文リスト

• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Mixed Semi-Supervised Generalized-Linear-Regression with Applications to Deep-Learning and Interpolators [6.537685198688539]
  本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。 それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。 我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-19T09:55:18Z)
• Interpretable AI-based Large-scale 3D Pathloss Prediction Model for enabling Emerging Self-Driving Networks [3.710841042000923]
  本稿では,新しい鍵予測器を応用した機械学習モデルを提案する。 予測,一般化,計算性能の観点から各種MLアルゴリズムの性能を定量的に評価することにより,光グラディエントブースティングマシン(LightGBM)アルゴリズムが全体として他のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-30T19:50:16Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。