論文の概要: LLMs Can Teach Themselves to Better Predict the Future

• arxiv url: http://arxiv.org/abs/2502.05253v1
• Date: Fri, 07 Feb 2025 17:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:38.468226
• Title: LLMs Can Teach Themselves to Better Predict the Future
• Title（参考訳）: LLMは未来を予測できるツール
• Authors: Benjamin Turtel, Danny Franklin, Philipp Schoenegger,
• Abstract要約: 本稿では,大規模言語モデルの予測能力を高める結果駆動型微調整フレームワークを提案する。 多様な推論軌跡と確率予測のペアを、多様な質問の集合に対して生成する。 次に、モデルを微調整する前に、これらの推論トレースのペアを実際の結果までの距離でランク付けする。
• 参考スコア（独自算出の注目度）: 1.0923877073891446
• License:
• Abstract: We present an outcome-driven fine-tuning framework that enhances the forecasting capabilities of large language models (LLMs) without relying on human-curated reasoning samples. Our method leverages model self-play to generate pairs of diverse reasoning trajectories and probabilistic forecasts for a set of diverse questions that resolve after the models' knowledge cutoff date. We then rank pairs of these reasoning traces by their distance to the actual outcomes before fine-tuning the model via Direct Preference Optimization (DPO). On a separate test set, our approach increases prediction accuracy of Phi-4 14B and DeepSeek-R1 14B by between 7--10\% over a base model and a DPO fine-tuned control model with randomized labels, bringing them on par with forecasting capabilities of much larger frontier models like GPT-4o.
• Abstract（参考訳）: 本稿では,人為的な推論サンプルに頼ることなく,大規模言語モデル(LLM)の予測能力を向上する結果駆動の微調整フレームワークを提案する。 提案手法はモデル自己プレイを利用して,モデルが知識を遮断した後に解決する多様な質問に対して,多様な推論軌跡と確率的予測のペアを生成する。 次に、これらの推論トレースのペアを、直接選好最適化(DPO)を介してモデルを微調整する前に、実際の結果までの距離でランク付けする。 実験では,Phi-414BとDeepSeek-R114Bの予測精度を,ベースモデル上で7～10倍の精度で向上し,ランダムなラベル付きDPO微調整制御モデルにより,GPT-4oのようなより大きなフロンティアモデルの予測能力に匹敵する結果を得た。

関連論文リスト

• Uncertainty-Guided Enhancement on Driving Perception System via Foundation Models [37.35848849961951]
  本研究では、基礎モデルを利用して既存の駆動知覚モデルから予測を洗練させる手法を開発した。 本手法では,予測精度が10～15%向上し,基礎モデルのクエリ数を50%削減する。
  論文  参考訳（メタデータ） (2024-10-02T00:46:19Z)
• Optimal starting point for time series forecasting [1.9937737230710553]
  最適開始点時系列予測(OSP-TSP)と呼ばれる新しい手法を導入する。 提案手法は,時系列の最適開始点(OSP)を決定するとともに,ベース予測モデルの予測性能を向上させる。 実験結果から,OSP-TSPアプローチに基づく予測は,全時系列データセットを用いた予測よりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-09-25T11:51:00Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
  予測可能なMDP抽象化(PMA)を提案する。 元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。 我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-02-08T07:37:51Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• Feature-weighted Stacking for Nonseasonal Time Series Forecasts: A Case Study of the COVID-19 Epidemic Curves [0.0]
  本研究では,非シーズン時間帯での利用可能性について,予測におけるアンサンブル手法について検討する。 予備予測段階における予測能力を証明する2つの予測モデルと2つのメタ機能からなる重畳アンサンブルを用いて遅延データ融合を提案する。
  論文  参考訳（メタデータ） (2021-08-19T14:44:46Z)
• Explainable boosted linear regression for time series forecasting [0.1876920697241348]
  時系列予測では、過去の観測を収集し分析し、将来の観測を外挿するモデルを開発する。 時系列予測のための説明可能な強化線形回帰(EBLR)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-18T22:31:42Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。