論文の概要: Intertemporal Preference Steering in Qwen3 via Contrastive Activation Addition
- arxiv url: http://arxiv.org/abs/2608.03892v1
- Date: Tue, 04 Aug 2026 16:25:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 17:47:10.511554
- Title: Intertemporal Preference Steering in Qwen3 via Contrastive Activation Addition
- Title(参考訳): コントラスト活性付加によるQwen3の時間的選好ステアリング
- Abstract要約: 大規模言語モデルQwen3-32Bにおける時間的水平方向の線形表現について検討する。
それらを使って、モデルの時間に関する好みや推奨、能力を変えます。
- 参考スコア(独自算出の注目度): 0.10312968200748114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study linear representations of temporal horizon in the large language model Qwen3-32B and use them to change the model's time-related preferences, recommendations, and capabilities. We train contrastive linear probes on teacher-forced temporal-choice answers to find a short-term versus long-term direction in the model's residual stream, and evaluate contrastive activation-addition steering on a held-out binary temporal-choice task, an out-of-distribution monetary intertemporal-choice task, and a TravelPlanner capability benchmark. The central result is that temporal-horizon directions can be identified with simple contrastive linear probes and then used for steering to induce large, bidirectional preference changes. On an out-of-distribution monetary choice task that varies reward size and delay, steering strongly shifts the model's indifference threshold between smaller-sooner and larger-later rewards in both directions. We further show improvements on a planning-related capability metric under moderate temporal steering. These results suggest that model intertemporal preferences are measurable and steerable, which is relevant for AI systems that give advice involving delayed costs and benefits, and for safety questions about long-horizon planning.
- Abstract(参考訳): 本研究では,大規模言語モデルQwen3-32Bにおける時間的水平方向の線形表現について検討し,時間的嗜好や推奨,能力の変化に利用する。
教師が強制する時間的選択の回答に対する対照的な線形プローブを訓練し、モデルの残留ストリームにおける短期的・長期的方向を求めるとともに、保持された二分的時間的選択タスク、分配外金銭的時間的選択タスク、およびトラベルプランナー能力ベンチマークに基づいて、対照的なアクティベーション・アダクション・ステアリングを評価する。
中心的な結果は、時間-水平方向が単純なコントラスト線形プローブと同一視され、操舵によって大きな双方向の選好変化を引き起こすことである。
報酬サイズと遅延の異なる分配外通貨選択タスクでは、ステアリングはモデルの差分閾値を、より小さなスクーナーとより大きな報酬の両方の方向に強くシフトさせる。
さらに,適度な時間的ステアリングの下での計画関連能力指標の改善を示す。
これらの結果は、時間的嗜好のモデルが測定可能で評価可能であり、遅延コストと利益を含むアドバイスを与えるAIシステムや、長期計画に関する安全性の問題に関係していることを示唆している。
関連論文リスト
- LeapTS: Rethinking Time Series Forecasting as Adaptive Multi-Horizon Scheduling [74.94985663101906]
本稿では,予測地平線上での動的スケジューリングプロセスとして時系列予測を再構成する新しいフレームワーク LeapTSを提案する。
LeapTSは、Transformerベースのモデルよりも2.6$times$から5.3$times$推論スピードアップを実現しつつ、全体的な予測性能を少なくとも7.4%向上させる。
論文 参考訳(メタデータ) (2026-05-11T09:54:02Z) - Temporally Decoupled Diffusion Planning for Autonomous Driving [6.701508758642954]
動的都市環境における運動計画には、短期的目標と即時安全のバランスが必要である。
本稿では、ノイズ・アズ・マスクのパラダイムを用いて軌道生成を再構成する時間分解拡散モデル(TDDM)を提案する。
トラジェクトリを独立したノイズレベルを持つセグメントに分割することにより、高雑音を情報空白として、弱い雑音を文脈的手がかりとして暗黙的に扱う。
これにより、より保存状態の良い時間的文脈と内部相関を利用して、破損した短期状態にモデルを補うことができる。
論文 参考訳(メタデータ) (2026-03-26T14:04:15Z) - TaPD: Temporal-adaptive Progressive Distillation for Observation-Adaptive Trajectory Forecasting in Autonomous Driving [10.160418242076284]
軌道予測は自律走行に必須であり、車両は周囲のエージェントの動きを予測できる。
可変履歴長下での観測適応軌道予測のための統一的なプラグアンドプレイフレームワークであるTaPDを提案する。
Argoverse 1 と Argoverse 2 の実験は、TaPD が全ての観測範囲で強い基底線を一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-03-06T12:51:32Z) - FuXi-Linear: Unleashing the Power of Linear Attention in Long-term Time-aware Sequential Recommendation [86.55349738440087]
FuXi-Linearは、効率的なロングシーケンスレコメンデーションのために設計された線形複雑度モデルである。
提案手法では, 時間的データを用いて周期的注意重みを独立に計算し, 時間的信号と意味的信号のクロストークを防ぐ時間的保持チャネルと, 学習可能なカーネルを介して線形複雑度内で位置情報を統合する線形位置決めチャネルの2つの重要な要素を紹介する。
論文 参考訳(メタデータ) (2026-02-27T04:38:28Z) - ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
ResADは正規化された残留軌道モデリングフレームワークである。
学習タスクを再編成し、慣性参照からの残留偏差を予測する。
NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
論文 参考訳(メタデータ) (2025-10-09T17:59:36Z) - Variable Time-Step MPC for Agile Multi-Rotor UAV Interception of Dynamic Targets [6.0967385124149756]
既存の非線形モデル予測制御手法を使用したアジャイルプランニングは、ますます需要が高まるにつれて計画手順の数によって制限される。
本稿では,変動時間ステップを導入し,予測水平長と組み合わせることで,これらの制約に対処することを提案する。
簡易な点質量運動プリミティブは、四重項力学の微分平坦性と、平坦な出力空間における可能な軌道の軌道生成を利用するために用いられる。
論文 参考訳(メタデータ) (2025-03-18T11:59:24Z) - Bidirectional Progressive Transformer for Interaction Intention Anticipation [20.53329698350243]
双方向進行機構を相互作用意図の予測に導入する。
トラジェクトリユニットとC-VAEを用いて、トラジェクトリや相互作用ホットスポットに適切な不確実性を導入する。
提案手法は,3つのベンチマークデータセットの最先端結果を実現する。
論文 参考訳(メタデータ) (2024-05-09T05:22:18Z) - Dissecting Transformer Length Extrapolation via the Lens of Receptive
Field Analysis [72.71398034617607]
我々は、相対的な位置埋め込み設計であるALiBiを受容場解析のレンズで識別する。
バニラ正弦波位置埋め込みを修正してbftextを作成する。これはパラメータフリーな相対的位置埋め込み設計であり、真の長さ情報はトレーニングシーケンスよりも長くなる。
論文 参考訳(メタデータ) (2022-12-20T15:40:17Z) - Averaging Spatio-temporal Signals using Optimal Transport and Soft
Alignments [110.79706180350507]
Fr'teche は双対性を意味し, 時間的バレシェセンタを定義するために提案した損失が有効であることを示す。
手書き文字と脳画像データによる実験は、我々の理論的発見を裏付けるものである。
論文 参考訳(メタデータ) (2022-03-11T09:46:22Z) - Short-term bus travel time prediction for transfer synchronization with
intelligent uncertainty handling [12.504473943407092]
マルチリンクバスの走行時間問題に適応・拡張した不確実性推定のための2つの新しいアプローチを提案する。
不確実性は、反復的な人工ニューラルネットワークの一部として直接モデル化されるが、2つの根本的に異なるアプローチを用いる。
論文 参考訳(メタデータ) (2021-04-14T12:38:27Z) - Spatial-Temporal Transformer Networks for Traffic Flow Forecasting [74.76852538940746]
本稿では,長期交通予測の精度を向上させるため,時空間変圧器ネットワーク(STTN)の新たなパラダイムを提案する。
具体的には、有向空間依存を動的にモデル化することにより、空間変換器と呼ばれる新しいグラフニューラルネットワークを提案する。
提案モデルにより,長期間にわたる空間的依存関係に対する高速かつスケーラブルなトレーニングが可能になる。
論文 参考訳(メタデータ) (2020-01-09T10:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。