論文の概要: Forecasting With LLMs: Improved Generalization Through Feature Steering

• arxiv url: http://arxiv.org/abs/2606.27199v1
• Date: Thu, 25 Jun 2026 15:59:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.338244
• Title: Forecasting With LLMs: Improved Generalization Through Feature Steering
• Title（参考訳）: LLMによる予測: 機能ステアリングによる一般化の改善
• Abstract要約: 我々はスパースオートエンコーダを用いて、予測タスクが時間固有の知識や一般化可能なパターンに依存しているかどうかを調べる。 時間認識能力の増幅は,一般的な推論性能を維持しつつ,予測プロンプトのルックアヘッドバイアスを著しく低減することがわかった。 これらの結果は, 解釈可能な時間的特徴を用いて, LLMをより歴史的に根ざした推論へと因果的にシフトさせることができることを示唆している。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Successful forecasting involves identifying patterns between historical and future states of the world which generalize to future observations. We apply LLMs to a variety of forecasting tasks and inspect their internal states using sparse autoencoders to understand whether they appear to rely on time-specific pieces of knowledge versus generalizable patterns. Our analyses identify features associated with both time-aware reasoning and look-ahead-biased reasoning. We then apply the LLMs to an entirely different domain and intervene on these features. We find that amplifying time-awareness features substantially reduces look-ahead bias on forecasting prompts while preserving general reasoning performance. In contrast, steering the candidate look-ahead-bias features does not produce an effect. These results suggest that interpretable temporal features can be used to causally shift LLMs toward more historically grounded reasoning.
• Abstract（参考訳）: 成功した予測には、将来の観測に一般化する世界の歴史的状態と将来の状態の間のパターンを特定することが含まれる。 各種予測タスクにLLMを適用し、スパースオートエンコーダを用いて内部状態を検査し、それらが時間固有の知識と一般化可能なパターンに依存しているように見えるかを理解する。 本分析では,時間認識推論とルック・ア・ヘッドバイアス推論の両方に関連する特徴を同定した。 次に、LLMをまったく異なるドメインに適用し、これらの機能に介入します。 時間認識能力の増幅は,一般的な推論性能を維持しつつ,予測プロンプトのルックアヘッドバイアスを著しく低減することがわかった。 対照的に、検討対象のルック・ア・ヘッド・バイアスの特徴を操ることは効果を生まない。 これらの結果は, 解釈可能な時間的特徴を用いて, LLMをより歴史的に根ざした推論へと因果的にシフトさせることができることを示唆している。

関連論文リスト

• AdapTime: Enabling Adaptive Temporal Reasoning in Large Language Models [65.97075015662318]
  AdapTimeは適応的な時間的推論手法であり、入力コンテキストに基づいて推論ステップを動的に実行する。 最先端のLCMとシームレスに統合され、外部サポートに頼ることなく、時間的推論能力を大幅に向上する。
  論文  参考訳（メタデータ） (2026-04-27T08:34:40Z)
• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• From Observations to States: Latent Time Series Forecasting [65.98504021691666]
  本稿では,TSFを観測回帰から潜時予測に移行する新しいパラダイムであるLatent Time Series Forecasting(LatentTSF)を提案する。 具体的には、LatentTSFはAutoEncoderを使用して、各段階での観測結果を高次元の潜在状態空間に投影する。 提案する潜伏目標は,予測潜伏状態と地道状態と観測値との相互情報を暗黙的に最大化する。
  論文  参考訳（メタデータ） (2026-01-30T20:39:44Z)
• Is More Context Always Better? Examining LLM Reasoning Capability for Time Interval Prediction [15.45305246863211]
  大規模言語モデル(LLM)は、異なるドメインをまたいだ推論と予測において印象的な能力を示している。 本稿では,LLMが繰り返しユーザの行動の時間間隔を予測できるかどうかを系統的に検討する。 我々は、統計モデルと機械学習モデルの両方に対してゼロショット設定で最先端のLCMをベンチマークする。
  論文  参考訳（メタデータ） (2026-01-15T07:18:40Z)
• Toward Reasoning-Centric Time-Series Analysis [25.125311368754527]
  現実の環境では、効果的な分析は表面的な傾向を超えて、それらを動かす実際の力を明らかにする必要がある。 近年のLarge Language Models (LLMs) は時系列分析を再考する新たな機会を提供する。 本稿では,LLMを用いた時系列を因果構造と説明可能性の優先順位付け作業として再考する。
  論文  参考訳（メタデータ） (2025-10-14T22:59:07Z)
• Not in Sync: Unveiling Temporal Bias in Audio Chat Models [59.146710538620816]
  大規模音声言語モデル(LALM)は、音声理解やマルチモーダル推論にますます応用されている。 LALMにおける時間バイアスに関する最初の体系的研究を行い,その時間スタンプ予測における重要な限界を明らかにした。
  論文  参考訳（メタデータ） (2025-10-14T06:29:40Z)
• Positional Biases Shift as Inputs Approach Context Window Limits [57.00239097102958]
  入力がモデルのコンテキストウィンドウの最大50%を占める場合、LiM効果は最強となる。 関係情報が入力の終端に近づくと,モデルの性能が向上する,距離に基づくバイアスが観測される。
  論文  参考訳（メタデータ） (2025-08-10T20:40:24Z)
• Can Slow-thinking LLMs Reason Over Time? Empirical Studies in Time Series Forecasting [17.73769436497384]
  時系列予測(TSF)は、古典的な統計的アプローチから現代のディープラーニングやマルチモーダル言語モデリングまで、基礎的で広く研究されている課題である。 一方、ゆっくり考え始めるLSMは、様々な領域にまたがる印象的な多段階推論能力を示している。 スロー思考のLLMは、時系列予測をサポートするために時間的パターンよりも効果的に推論できるのか?
  論文  参考訳（メタデータ） (2025-05-30T12:19:02Z)
• ExAnte: A Benchmark for Ex-Ante Inference in Large Language Models [12.948099229475265]
  大型言語モデル (LLM) は、元Antの推論において重大な課題に直面している。 時間的カットオフを強制する明示的なプロンプトであっても、LLMは指定されたカットオフを超えた事象の内在的な知識に影響された出力をしばしば生成する。 本稿では、このような時間的制約に固執しながら、LCMの推論能力を評価するための新しいタスクとベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T05:39:57Z)
• XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
  時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。 伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。 時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
  論文  参考訳（メタデータ） (2024-10-18T05:16:39Z)
• Is Your LLM Outdated? A Deep Look at Temporal Generalization [37.58752947129519]
  本稿では,Large Language Models(LLMs)における時間的一般化の概念を紹介する。 LLMの時間適応性を評価するために、新しいテキストとイベント予測を利用する新しい評価フレームワークであるFreshBenchを紹介する。 以上の結果から,将来的にはより優れたモデルが急速に減少する傾向にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-14T09:31:31Z)
• Temporal Blind Spots in Large Language Models [20.631107338678234]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する非並列性のため、最近注目されている。 本研究では,時間的理解を必要とするタスクに対して,汎用LLMの基本的な限界について検討する。
  論文  参考訳（メタデータ） (2024-01-22T16:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。