論文の概要: Steered Generation via Gradient-Based Optimization on Sparse Query Features
- arxiv url: http://arxiv.org/abs/2605.23040v1
- Date: Thu, 21 May 2026 21:13:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.102724
- Title: Steered Generation via Gradient-Based Optimization on Sparse Query Features
- Title（参考訳）: スパースクエリ機能に基づく勾配ベース最適化によるステアリング生成
- Authors: Sumanta Bhattacharyya, Pedram Rooshenas,
- Abstract要約: Prototype-Based Sparse Steeringは、Sparse Autoencodersを特にクエリアクティベーションに適用するフレームワークである。
本研究では,スパースクエリ表現が論理的計画法と構造的ニュアンスの両方を統一的かつ解釈可能な制御に必要であることを示す。
- 参考スコア（独自算出の注目度）: 1.587869707099313
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent steering exploits internal representations of Large Language Models (LLMs) to guide generation, yet interventions on dense states can entangle distinct semantic features. In this paper, we investigate attention query activations as a high-fidelity site for precise control, hypothesizing that manipulating the attention mechanism itself offers sharper steerability than general state interventions. We introduce Prototype-Based Sparse Steering, a framework that applies Sparse Autoencoders (SAEs) specifically to query activations, to decompose them into interpretable features, then apply gradient-based optimization during inference to align the sparse representation with class prototypes of target behaviors. To validate this architectural insight, we first analyze the mechanism in Textualized Gridworld, a controlled environment for verifiable planning constraints. We demonstrate that optimizing sparse query features enables effective navigation of rigid planning requirements (i.e., safe vs. short paths), confirming the method's ability to satisfy objective rules. We then demonstrate the framework's versatility by training SAEs on a high-dimensional educational domain, where the framework steers the cognitive complexity of feedback (i.e., Bloom's Taxonomy). Our experiments establish that sparse query representations provide the necessary disentanglement for unified, interpretable control over both logical planning and stylistic nuance.
- Abstract（参考訳）: 潜在ステアリングは、Large Language Models(LLM)の内部表現を利用して生成をガイドするが、高密度な状態への介入は、異なる意味的特徴を絡み合わせることができる。
本稿では,高忠実度サイトとしてのアテンションクエリのアクティベーションについて検討し,アテンションメカニズムの操作自体が一般国家の介入よりもシャープなステアビリティをもたらすことを仮定する。
本稿では,Sparse Autoencoders(SAE)を特にクエリアクティベーションに適用したフレームワークであるPrototype-Based Sparse Steeringを紹介し,それらを解釈可能な機能に分解し,推論中に勾配に基づく最適化を適用して,スパース表現をターゲット動作のクラスプロトタイプと整合させる。
このアーキテクチャの洞察を検証するために,我々はまず,計画制約を検証するための制御環境である Textualized Gridworld のメカニズムを解析した。
スパースクエリ機能を最適化することで、厳密な計画要件(例えば、安全対短経路)を効果的にナビゲーションし、客観的なルールを満たす方法の能力を検証できることを実証する。
次に、高次元の教育領域でSAEを訓練し、フィードバックの認知的複雑さ(ブルームの分類学)を判断するフレームワークの汎用性を実証する。
実験により,スパースクエリ表現は論理的計画法と構造的ニュアンスの両方を統一的かつ解釈可能な制御に必要であることがわかった。
関連論文リスト
- SAGE: A Service Agent Graph-guided Evaluation Benchmark [27.342044311161654]
本稿では,SAGE(Service Agent Graph-Guided Evaluation)を提案する。
SAGEは構造化されていないSOPを動的ダイアロググラフに形式化し、論理的コンプライアンスの正確な検証を可能にする。
また、モデルが論理的失敗にもかかわらず丁寧な会話ファサードを維持する現象である「共感回復」も観察する。
論文 参考訳（メタデータ） (2026-04-10T12:55:23Z) - Structured prototype regularization for synthetic-to-real driving scene parsing [7.087302867255982]
運転シーンのパーシングは、自動運転車が現実世界の交通環境で確実に運転することが重要である。
コストのかかるピクセルレベルのアノテーションへの依存を減らすため、自動生成されたラベルを持つ合成データセットが一般的な選択肢となっている。
合成データに基づいて訓練されたモデルは、合成から実際のドメインギャップのために現実世界のシーンに適用すると、しばしば性能が良くない。
論文 参考訳（メタデータ） (2026-03-17T03:05:28Z) - CLAIRE: Compressed Latent Autoencoder for Industrial Representation and Evaluation -- A Deep Learning Framework for Smart Manufacturing [51.56484100374058]
CLAIREは、教師なしの深層表現学習と、スマート製造システムにおけるインテリジェントな品質管理のための教師付き分類を統合したハイブリッドエンドツーエンド学習フレームワークである。
最適化されたディープオートエンコーダを使用して、生の入力をコンパクトな潜伏空間に変換し、不適切な特徴やノイズを抑えながら本質的なデータ構造を効果的にキャプチャする。
提案したフレームワークは、堅牢な障害検出のために、説明可能なAIと機能認識の正規化を統合する可能性を強調している。
論文 参考訳（メタデータ） (2026-03-06T15:11:58Z) - StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。
我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。
スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
論文 参考訳（メタデータ） (2026-03-02T11:35:05Z) - OOWM: Structuring Embodied Reasoning and Planning via Object-Oriented Programmatic World Modeling [62.3458279176813]
ソフトウェア工学のフォーマリズムのレンズを通して推論を具体化する新しいフレームワークであるオブジェクト指向世界モデリング(OOWM)を提案する。
OOWMはクラスダイアグラムを使用して、厳密なオブジェクト階層に視覚的知覚を基盤とし、アクティビティダイアグラムを使用して、計画を実行可能な制御フローに運用する。
論文 参考訳（メタデータ） (2026-02-25T16:01:07Z) - Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。
本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。
具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。
人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2026-02-10T10:16:27Z) - Mechanistic Knobs in LLMs: Retrieving and Steering High-Order Semantic Features via Sparse Autoencoders [8.188989044347595]
意味論的に解釈可能な内部特徴の検索とステアリングのためのスパースオートエンコーダベースのフレームワークを提案する。
本研究では,ビッグファイブの性格特性をケーススタディとして用いて,モデル行動の正確かつ双方向なステアリングを可能にすることを実証する。
論文 参考訳（メタデータ） (2026-01-06T12:40:37Z) - GLOW: Graph-Language Co-Reasoning for Agentic Workflow Performance Prediction [51.83437071408662]
本稿では,AW性能予測のための統合フレームワークGLOWを提案する。
GLOWは、GNNのグラフ構造モデリング能力とLLMの推論能力を組み合わせる。
FLORA-Benchの実験では、GLOWは予測精度とランキングユーティリティにおいて最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2025-12-11T13:30:46Z) - InVDriver: Intra-Instance Aware Vectorized Query-Based Autonomous Driving Transformer [12.441180142943328]
InVDriverは、インスタンス内空間依存のための新しいベクトル化クエリベースのシステムである。
InVDriverは最先端の性能を達成し,精度と安全性の両面で従来の手法より優れていることを示す。
論文 参考訳（メタデータ） (2025-02-25T08:20:16Z) - Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。
我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
論文 参考訳（メタデータ） (2020-01-23T02:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。