論文の概要: MetaSteer: Context-Conditioned, nonlinear Steering via Attention-Projection Adaptation

• arxiv url: http://arxiv.org/abs/2609.38718v1
• Date: Wed, 30 Sep 2026 00:52:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.914839
• Title: MetaSteer: Context-Conditioned, nonlinear Steering via Attention-Projection Adaptation
• Title（参考訳）: MetaSteer: アテンション・プロジェクション・アダプタによるコンテキストコンディション、非線形ステアリング
• Abstract要約: 本稿では,文脈依存効果を用いた非線形介入学習手法であるMetaSteerを紹介する。 その結果,MetaSteerは低ランクのアダプタを使用しているにも関わらず,隠れ状態の軌跡の構造化,コンテキスト依存的な変化を誘導することがわかった。 制御された3つのテキスト生成ベンチマークと,複数のモデルファミリおよびスケールにまたがるエージェント設定について,MetaSteerの評価を行った。
• 参考スコア（独自算出の注目度）: 3.635648354808971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Steering large language models typically relies on linear, context-independent interventions in activation space, an assumption that recent work has challenged and that can induce an information bottleneck when a fixed representation must encode many behavioral distinctions. We introduce MetaSteer, a method that learns nonlinear interventions with context-dependent effects and applies them to attention projection matrices, producing activation effects that vary with the input context by construction and requiring no linear concept-geometry assumption. Framed as preference-based optimization, MetaSteer is trained once on a pooled preference corpus and transferred zero-shot to unseen concepts and out-of-distribution contexts. We find that, despite using low-rank adapters, MetaSteer induces structured, context-dependent changes in hidden-state trajectories while partially preserving aspects of their local trajectory dynamics, including velocity and curvature. We evaluate MetaSteer on three controlled text-generation benchmarks and three agentic settings across multiple model families and scales. MetaSteer matches or outperforms strong task-specific steering baselines on most aggregate comparisons in the zero-shot regime. Across the evaluated settings, stronger text-generation steering is associated with stronger agentic steering performance. We further discuss geometric trajectory effects, capability retention, and safety considerations raised by transferable steering.
• Abstract（参考訳）: 大規模言語モデルのステアリングは一般的に、線形で文脈に依存しないアクティベーション空間の介入に依存しており、これは最近の研究が挑戦しており、固定表現が多くの行動的区別を符号化しなければならない場合に、情報のボトルネックを引き起こす可能性があるという仮定である。 そこで,MetaSteerは,文脈依存効果による非線形干渉を学習し,注意投射行列に応用し,構成によって入力コンテキストに異なるアクティベーション効果を生成し,線形概念幾何学的仮定を必要としない手法を提案する。 MetaSteerは選好ベースの最適化として評価され、プールされた選好コーパスで一度トレーニングされ、ゼロショットを目に見えない概念やアウト・オブ・ディストリビューションコンテキストに転送する。 その結果,MetaSteerは低ランクアダプタを用いたにもかかわらず,速度や曲率などの局所軌道力学の側面を部分的に保ちながら,隠れ状態軌道の構造化・文脈依存的な変化を誘導することがわかった。 制御された3つのテキスト生成ベンチマークと,複数のモデルファミリおよびスケールにまたがるエージェント設定について,MetaSteerの評価を行った。 MetaSteerは、ゼロショット方式のほとんどのアグリゲーション比較において、強いタスク固有のステアリングベースラインにマッチまたは性能を向上する。 評価設定全体にわたって、より強力なテキスト生成ステアリングは、より強力なエージェントステアリング性能に関連付けられている。 さらに、移動可能なステアリングにより生じる幾何学的軌道効果、能力保持、安全性について考察する。

関連論文リスト

• Steering Fields: Adaptive Vector Fields for Safe Image Generation and Beyond [65.02517762858879]
  生成過程の各ステップにおけるステアリング方向を適応的に再推定するステアリングベクトルの一般化であるステアリング場を導入する。 ステアフィールド場は流れモデルのノイズの多い状態で動作し、ステアリング強度とコンテンツ保存との間の連続的なトレードオフを露呈し、構成的である。 明示的な空間マスクや物体の先行値を使用しないにもかかわらず、軌道適応推定は局所構造を自然に保存する。
  論文  参考訳（メタデータ） (2026-09-30T12:06:48Z)
• GEOSTEER: Geodesic Optimization for Activation Steering in Large Language Models [9.438320824151157]
  標準保存型アクティベーションステアリングの最適化手法であるGeoSteerを提案する。 また,GeoSteerは,最先端のアクティベーションステアリングベースラインよりも一貫して改善されていることを示す。 これらの結果は、事前定義されたワンステップ編集を適応的・幾何学的最適化に置き換えることで、ノルム保存ステアリングをより効果的にすることができることを示唆している。
  論文  参考訳（メタデータ） (2026-09-09T16:55:52Z)
• Dynamics of meaning: Towards the Evaluation of Diachronic Semantic Change in Sinhala [1.256381443503838]
  本研究では,13世紀から20世紀にかけてのシンハラ語の年代変化を多段階計算フレームワークを用いて検討した。 我々はまず、SMA(Simisity Matrix Based Alignment)とOP(Orthogonal Procrustes)技術を用いて、世紀固有のWord2VecとFastTextの埋め込みを調整する。 本研究では, 微調整したLlama-3.1-8Bの組込みによる双方向セマンティック・インパクト・プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-09-08T11:43:50Z)
• When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models [28.678246023804537]
  無関係なテキストが様々なベンチマークでモデル予測を常にバイアスしているのを観察する。 我々の分析は、文脈自由な文脈のアフィン規則性に従うような、頑健な幾何学的正則性を明らかにしている。 これらの所見はMLLMにおける無関係な文脈効果のマージンレベルの診断的見地を提供する。
  論文  参考訳（メタデータ） (2026-06-12T02:49:01Z)
• Contextual Linear Activation Steering of Language Models [14.044056042247037]
  線形アクティベーションステアリングは、大規模言語モデルの能力を引き出すための強力なアプローチである。 既存の方法は全てのトークンに固定的なステアリング強度を適用し、様々な入力プロンプトに一貫性のないステアリング品質をもたらす。 文脈依存型ステアリング強度に線形活性化ステアリングを動的に適用するCLAS(Contextual Linear Activation Steering)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T16:54:16Z)
• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [73.75271615101754]
  本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。 Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。 Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
  論文  参考訳（メタデータ） (2025-03-25T15:19:56Z)
• Diffusion Transformer Policy [48.50988753948537]
  本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。 トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
  論文  参考訳（メタデータ） (2024-10-21T12:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。