論文の概要: Temporal Preference Concepts and their Functions in a Large Language Model

• arxiv url: http://arxiv.org/abs/2606.05194v1
• Date: Mon, 11 May 2026 21:09:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-07 20:42:22.599619
• Title: Temporal Preference Concepts and their Functions in a Large Language Model
• Title（参考訳）: 大規模言語モデルにおける時間的選好概念とその機能
• Authors: Ian Rios-Sialer, Shantanu Darveshi, Shuai Jiang, Avigya Paudel, Anastasiia Pronina, Ipshita Bandyopadhyay, Justin Shenk,
• Abstract要約: 大きな言語モデル(LLM)は、短期的な利益と長期的な結果とのトレードオフを必要とする決定を下すために、ますますデプロイされている。 蒸留LLMにおいて, 時間的嗜好に基礎となる部分グラフを因果的に定位する。 時間地平線の幾何学は、期待される局所化層における残留ストリームに符号化される。
• 参考スコア（独自算出の注目度）: 19.057639378497516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly being deployed to make decisions that require trading off near-term gains against long-term consequences, yet little is known about how they internally represent or resolve these tradeoffs. In this work, we causally localize an underlying subgraph for temporal preference in a distilled LLM (Qwen3-4B-Instruct-2507), identifying mid-to-upper-layer nodes through converging evidence from gradient-based attribution and activation patching. We find that the geometry of time horizon is encoded in the residual stream at the expected localized layers. A behavioral analysis reveals that unintervened LLMs discount the future several times less steeply than humans, yet this preference is unstable across contexts, motivating explicit control rather than implicit reliance on training. Finally, we find suggestive evidence that steering vectors can shift temporal preference. Our work demonstrates how mechanistic interpretability can bring us closer to reliable control over how LLMs plan and reason
• Abstract（参考訳）: 大きな言語モデル(LLM)は、長期的な結果に対する短期的な利益のトレードオフを必要とする決定を下すために、ますますデプロイされている。 本研究では, 蒸留LLM (Qwen3-4B-Instruct-2507) における時間的嗜好の下位部分グラフを因果的に局所化し, 勾配に基づく属性とアクティベーションパッチによる証拠を収束させることにより, 中間層ノードを同定する。 時間地平線の幾何学は、期待される局所化層における残留ストリームに符号化される。 行動分析により、未介入のLSMは人間よりも数倍の急激な未来を減らしているが、この嗜好は文脈によって不安定であり、トレーニングへの暗黙的な依存よりも明確なコントロールを動機付けている。 最後に、ステアリングベクトルが時間的嗜好をシフトできるという示唆的な証拠を見出す。 我々の研究は、機械的解釈可能性がLLMの計画と理由に関する信頼性の高い制御にいかに近づいたかを実証する

関連論文リスト

• Do Agents Think Deeper? A Mechanistic Investigation of Layer-Wise Dynamics in Sequential Planning [6.5668779922726666]
  大規模言語モデル(LLM)は、標準のシングルターンタスクでは、その深さを非効率に利用することができる。 エージェント推論は静的タスクとは異なる深度プロファイルを示すことを示す。
  論文  参考訳（メタデータ） (2026-05-27T04:08:08Z)
• From Prompts to Pavement Through Time: Temporal Grounding in Agentic Scene-to-Plan Reasoning [1.2777067998526854]
  本研究は, エージェント間コミュニケーションにおける時間的条件付けが, 意味的・論理的一貫性の低下を伴わずにコヒーレンスを維持・強化できるかどうかを考察する。 その結果,時間的条件付けは推論スタイルに反するが,標準NLPに基づく正当性測定では統計的に有意な改善は得られなかった。 これらの結果から,プロンプトベースの時間的接地限界を明らかにし,時間的シーンから計画的推論のための最初の経験的基準を確立した。
  論文  参考訳（メタデータ） (2026-05-19T13:18:35Z)
• Why We Need World Models for AGI: Where LLMs Fail and How World Models May Outperform [1.6746114653388389]
  大規模言語モデルは、言語生成と知識集約タスクにおいて強力なパフォーマンスを達成する。 これらの制限は、潜在環境力学に対するシーケンス予測と推論の客観的なミスマッチから生じる可能性がある。 言語とマルチモーダルな観察を基礎となる遷移力学の部分的証拠として解釈する概念的視点である潜在ダイナミクス推論(LDI)を紹介する。
  論文  参考訳（メタデータ） (2026-05-13T12:55:34Z)
• Directional Reasoning Injection for Fine-Tuning MLLMs [51.53222423215055]
  マルチモーダルな大言語モデル(MLLM)は急速に進歩しているが、その推論能力は強いテキストのみのモデルよりも遅れていることが多い。 このギャップを埋める既存の方法は、大規模マルチモーダル推論データや強化学習の監督された微調整に依存している。 この問題を解決するために,DRIFT(Directional Reasoning Injection for Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T18:06:46Z)
• Toward Reasoning-Centric Time-Series Analysis [25.125311368754527]
  現実の環境では、効果的な分析は表面的な傾向を超えて、それらを動かす実際の力を明らかにする必要がある。 近年のLarge Language Models (LLMs) は時系列分析を再考する新たな機会を提供する。 本稿では,LLMを用いた時系列を因果構造と説明可能性の優先順位付け作業として再考する。
  論文  参考訳（メタデータ） (2025-10-14T22:59:07Z)
• Overclocking LLM Reasoning: Monitoring and Controlling Thinking Path Lengths in LLMs [52.663816303997194]
  回答の質に影響を与える重要な要因は思考段階の長さである。 本稿では, LLM が推論の長さを理解し, 制御するメカニズムを探求し, 活用する。 以上の結果から,この「オーバークロック」手法は過度な思考を軽減し,解答精度を向上し,推論遅延を低減することが示唆された。
  論文  参考訳（メタデータ） (2025-06-08T17:54:33Z)
• Are Large Language Models Temporally Grounded? [38.481606493496514]
  文章を記述したLarge Language Model (LLM) を提供する。 イベントの構造と持続時間に関する常識的な知識に関して、それらを調査する。 これらの能力を反映した3つの課題に対して,最先端のLCMを評価した。
  論文  参考訳（メタデータ） (2023-11-14T18:57:15Z)
• Reason for Future, Act for Now: A Principled Framework for Autonomous LLM Agents with Provable Sample Efficiency [53.8779374188643]
  本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。 具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。 各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
  論文  参考訳（メタデータ） (2023-09-29T16:36:39Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。