論文の概要: Decomposing how prompting steers behavior
- arxiv url: http://arxiv.org/abs/2606.03093v1
- Date: Tue, 02 Jun 2026 03:27:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.729948
- Title: Decomposing how prompting steers behavior
- Title（参考訳）: ステアリングの仕方
- Abstract要約: 我々は、プロンプトによる表現変化を解釈可能な幾何学的成分に分解する。
我々のフレームワークは、モデルがタスク関連構造をルートして、プロンプト駆動の振る舞いを生成する方法を明らかにする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompting steers large language models (LLMs) and vision-language models (VLMs) without weight updates, but it remains unclear how instruction changes reshape internal representations to produce behavior. We introduce a nested geometric decomposition framework that treats prompting as a transformation of the representational geometry of the content following the prompt. For each prompt pair, we align representations of the same stimuli under two prompts using increasingly expressive stimulus-invariant maps: translation, rigid transformation with uniform scaling, sequential axis scaling, affine transformation, and nonlinear transformation. We then causally test each map by replacing a single layer's prompt-A hidden state for held-out stimuli with its mapped counterpart and measuring recovery of prompt-B representational geometry and behavior. Across three LLMs, three VLMs, and six text or image datasets spanning style, emotion, scene content, and number, prompts consistently reshape representations toward the instructed task structure. Cross-validated variance decomposition shows that much prompt-induced activation change is captured by shape-preserving maps, especially translation and rigid transformation with uniform scaling, while tier profiles reveal model- and task-specific routing strategies across layers. Crucially, although translation and rigid tiers already improve behavioral agreement, affine transformation is the first tier to nearly recover target-prompt task geometry and yields corresponding behavioral gains. This suggests that cross-dimensional linear mixing is a key mechanism by which prompts reorganize representations toward instructed task structure. Our framework decomposes prompt-induced representational change into interpretable geometric components and reveals how models route task-relevant structure to produce prompt-driven behavior.
- Abstract（参考訳）: Prompting steers large language model (LLMs) と Vision-Language model (VLMs) は重み付けを伴わないが、どのように命令が内部表現を変換して振る舞いを生成するかは定かではない。
本稿では,プロンプトに続くコンテンツの表現幾何学の変換としてプロンプトを扱うネスト型幾何学的分解フレームワークを提案する。
各プロンプトペアに対して、より表現力のある刺激不変写像を用いて、同じ刺激の表現を2つのプロンプトの下に整列させる: 変換、一様スケーリングによる剛性変換、逐次軸スケーリング、アフィン変換、非線形変換。
次に,各写像の因果的検証を行い,一層のプロンプト-A隠れ状態と,そのマップ化された刺激とを置換し,プロンプト-B表現幾何学と挙動の回復を計測した。
3つのLDM、3つのVLM、スタイル、感情、シーン内容、数字にまたがる6つのテキストまたはイメージデータセットは、指示されたタスク構造に対して一貫して表現を再構築する。
クロスバリデード分散分解は、形状保存マップ、特に一様スケーリングによる変換と剛性変換によって、多くのアクティベーション変化が捕捉され、階層プロファイルは層間のモデルおよびタスク固有のルーティング戦略を示すことを示している。
重要なことに、翻訳層と剛性層はすでに行動の一致を改善しているが、アフィン変換はターゲット・プロンプト・タスク・ジオメトリをほぼ回復し、対応する行動の利得を得る最初の層である。
このことは、クロス次元線形混合が、指示されたタスク構造に対して表現を再編成する鍵となるメカニズムであることを示唆している。
提案フレームワークは,プロンプトによる表現変化を解釈可能な幾何学的成分に分解し,モデルがタスク関連構造を経路してプロンプト駆動行動を生成する方法を明らかにする。
関連論文リスト
- The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers [6.995112644485604]
トークンの文法的役割が、その部分音声(PoS)タグに特徴付けられるように、この多様体の局所幾何学を形作るかどうかを問う。
幾何学的特徴だけでトークンの文法的役割を回復し,各PoSのセマンティック内容が下流分類タスクにおいて層間でどのように進化するかを解釈する。
論文 参考訳（メタデータ） (2026-08-25T21:27:21Z) - The Push-Forward Transform for Continuous and Robust Comparison of Dynamic Shapes [1.6058099298620423]
形状領域から共通参照領域への写像関数に基づく形状比較のための数学的枠組みを提案する。
形状の類似性を定量化し,骨格トポロジーや回転対称性などの特徴を明らかにする,解釈可能な形態計測法を導出する。
数学的定式化を行い、効率的なアルゴリズムを記述し、2D、3D、時間的データセットにアプローチをベンチマークする。
論文 参考訳（メタデータ） (2026-08-03T14:31:21Z) - Video Analysis and Generation via a Semantic Progress Function [75.07700965101854]
与えられたシーケンスの意味が時間とともにどのように進化するかをキャプチャする一次元表現を導入する。
各フレームに対して、セマンティック埋め込み間の距離を計算し、シーケンス間の累積的なセマンティックシフトを反映する滑らかな曲線を適合させる。
この知見に基づいて,シーケンスをパラメータ化して意味変化を一定速度で展開する意味線形化手法を提案する。
論文 参考訳（メタデータ） (2026-04-24T13:48:51Z) - Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。
エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。
第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。
第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
論文 参考訳（メタデータ） (2026-04-12T10:36:18Z) - Context Structure Reshapes the Representational Geometry of Language Models [9.670218260803628]
大規模言語モデル(LLM)は入力シーケンスの表現をよりまっすぐな神経軌道に整理する。
近年の研究では、この文脈内学習が表現的変化に反映できることが示されている。
Gemma 2モデルにおける表現的ストレート化を、さまざまなコンテキスト内タスクの集合にわたって測定する。
論文 参考訳（メタデータ） (2026-01-29T22:17:17Z) - Talk2Move: Reinforcement Learning for Text-Instructed Object-Level Geometric Transformation in Scenes [69.4534914304302]
本研究では,シーン内のオブジェクトのテキストによる空間変換を行うフレームワークであるTalk2Moveを紹介する。
Talk2Moveでは,さまざまなロールアウトを通じて幾何学的アクションを探索するために,グループ相対ポリシー最適化を採用している。
キュレートされたベンチマークの実験では、Talk2Moveは正確で一貫性があり、セマンティックに忠実なオブジェクト変換を実現している。
論文 参考訳（メタデータ） (2026-01-05T18:55:32Z) - GeoSketch: A Neural-Symbolic Approach to Geometric Multimodal Reasoning with Auxiliary Line Construction and Affine Transformation [28.500787311066563]
GeoSketchは、幾何学的推論をインタラクティブな知覚・推論・アクションループとして再キャストする、ニューラルシンボリックなフレームワークである。
階層的な意思決定、実行可能な視覚行動、象徴的な検証を統一することにより、GeoSketchは静的解釈から動的相互作用へのマルチモーダル推論を前進させる。
論文 参考訳（メタデータ） (2025-09-26T15:12:04Z) - Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z) - Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform [62.27337227010514]
RISTと呼ばれる局所形状変換を用いた自己教師型回転不変3次元対応学習システムを提案する。
RISTは、挑戦的なクラス内変分と任意の向きの下でも、形状間の密接な対応を確立することを学ぶ。
RISTは、任意の回転点雲対に与えられる3D部分ラベル転送とセマンティックキーポイント転送の最先端性能を示す。
論文 参考訳（メタデータ） (2024-04-17T08:09:25Z) - Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。
本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-03T06:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。