論文の概要: Compositional Multilingual and Behavioral Attribute Steering
- arxiv url: http://arxiv.org/abs/2609.08410v1
- Date: Tue, 08 Sep 2026 08:18:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 20:43:20.517183
- Title: Compositional Multilingual and Behavioral Attribute Steering
- Title（参考訳）: 構成多言語および行動属性ステアリング
- Abstract要約: 本研究では,属性ステアリングベクトルの付加的,トレーニング不要な構成が各属性の意図したステアリング効果を維持できるかどうかを検討する。
単一属性のステアリングは3つの属性すべてに対して信頼性があるが、介入層とステアリング強度の適切な組み合わせに限られる。
2つの属性ベクトルの加法的組成は、各属性がそれぞれの最高の性能層に注入されると、同時に両方の属性を操ることに成功した。
- 参考スコア（独自算出の注目度）: 10.521205472061956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study examines the compositionality of steering vectors for language and behavioral control in large language models. Focusing on language, jailbreak, and conciseness, we investigate whether additive, training-free composition of attribute steering vectors can preserve the intended steering effect of each attribute, across four instruction-tuned models from two model families and two size scales. We find that single-attribute steering is reliable for all three attributes, but only within an appropriate combination of intervention layer and steering strength, with abstract behaviors (jailbreak, conciseness) favoring middle layers and language favoring earlier layers. We show that additive composition of two attribute vectors succeeds in steering both attributes simultaneously when each is injected at its own best-performing layer, and that this partially extends to three simultaneously composed attributes, addressing an inconsistency left open by prior work on training-free composition. We further analyze the geometric properties of these steering vectors, finding that they are approximately orthogonal in the residual stream, consistent with their compositional behavior.
- Abstract（参考訳）: 本研究では,大規模言語モデルにおける言語および行動制御のためのステアリングベクトルの構成性について検討した。
言語, 脱獄, 簡潔さに着目し, 属性ステアリングベクトルの付加的, 訓練不要な構成が, 2つのモデルファミリーと2つのサイズスケールの4つのモデルに対して, 属性の意図した操舵効果を維持できるかどうかを検討する。
単一属性のステアリングは3つの属性すべてに対して信頼性があるが、介入層とステアリング強度の適切な組み合わせに限られ、抽象的な振る舞い(ジェイルブレイク、簡潔さ)は中間層とそれ以前の層を好む言語に限られる。
2つの属性ベクトルの加法的構成は、各属性がそれぞれの最高の性能層に注入されたときに同時に両方の属性を操ることに成功したことを示し、これは部分的に3つの同時に構成された属性に拡張され、トレーニング不要な構成に関する事前の作業によって開放された矛盾に対処する。
さらに、これらのステアリングベクトルの幾何学的性質を解析し、それらが残留流のほぼ直交しており、それらの構成的挙動と一致していることを示した。
関連論文リスト
- Signatures of Steerability in Activation Space of Language Models [3.7155332656584186]
単純な分離メトリクスは、様々な設定で言語モデルの下流のステアビリティと強く相関していることを示す。
以上の結果から, 単純な分離性統計は, ステアリングベクトルが動作しそうな場合の診断に有効であることが示唆された。
論文 参考訳（メタデータ） (2026-09-12T21:06:55Z) - Disentangling Steering Vectors [13.671243729016568]
合成方向から個人的・意味論的に一貫した特徴を明示的に分離する枠組みを提案する。
具体的には、正と負のアクティベーションをペアにして、それらの差を利用してインスタンスレベルのステアリングベクトルの集合を生成する。
提案手法は, ステアリング効果が相互に区別可能な, 意味論的に一貫した基底ベクトルの集合を導出することを示す。
論文 参考訳（メタデータ） (2026-09-07T04:45:32Z) - Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects [58.98080129016082]
Feature-Effect Geometry Analysis (FEGA)は、コンテキスト間で同じアクティブなSAE機能を削除した教師なしのフレームワークである。
ステアリングの安定な方向を提供することなく,特徴を解釈し,因果的に関連付けることができることを示す。
論文 参考訳（メタデータ） (2026-07-27T16:45:08Z) - On the Limits of Steering Vectors for Preference-Aligned Generation [12.350800078736128]
本研究では, 特性表現性, タスク伝達, マルチトレート構成の3次元に沿ったステアリングベクトル一般化の限界について検討する。
この結果から, ステアリングベクトルは, 嗜好アライメントのための汎用ツールとして有意な限界に直面していることが示唆された。
論文 参考訳（メタデータ） (2026-07-02T07:18:36Z) - ORBIT: Training-Free Multi-Attribute Behavioral Steering via Orthogonal Subspace Rotation [38.36944876774961]
回転型ステアリングのトレーニング不要な拡張であるORBITをマルチ属性設定に導入する。
本手法は, 特異値分解法により, 配位子間ステアリング平面から結合部分空間を構成する。
また、表面的なスタイルではなく、行動の傾向に焦点を当てた、新しいマルチ属性ベンチマークであるTritFactoryも導入した。
論文 参考訳（メタデータ） (2026-06-21T06:40:32Z) - See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning [52.52121389921707]
2視点対応学習は、画像対における真対応(インレーシ)と偽対応(インレーシ)とを区別することを目的としている。
既存の手法は主に座標に基づく幾何の整合性に依存する。
本稿では,2視点対応学習のためのマルチソース機能融合フレームワークTriMatchを提案する。
論文 参考訳（メタデータ） (2026-06-08T09:33:01Z) - PERSONA: Dynamic and Compositional Inference-Time Personality Control via Activation Vector Algebra [84.59328460968872]
大規模言語モデルにおけるパーソナリティ制御の現在の手法は、静的なプロンプトや高価な微調整に依存している。
ペルソナ(PERSONA)は、人格ベクトルを直接操作することで、微調整レベルのパフォーマンスを実現する訓練不要のフレームワークである。
PersonalityBenchでは、この手法は平均スコア9.60を達成し、教師付き微調整上界9.61とほぼ一致している。
論文 参考訳（メタデータ） (2026-02-17T15:47:58Z) - A Conditional Probability Framework for Compositional Zero-shot Learning [86.86063926727489]
合成ゼロショット学習(CZSL)は、既知の合成から知識を活用することで、既知のオブジェクトと属性の見知らぬ組み合わせを認識することを目的としている。
従来のアプローチは、主に属性とオブジェクトを分離することに焦点を当て、学習中にそれらを独立したエンティティとして扱う。
属性オブジェクトの依存関係を明示的にモデル化するために、条件付き確率フレームワーク(CPF)を採用しています。
論文 参考訳（メタデータ） (2025-07-23T10:20:52Z) - Beyond Linear Steering: Unified Multi-Attribute Control for Language Models [8.223479896191145]
K-ステアリング(K-Steering)は、隠れたアクティベーションに対して単一の非線形マルチラベル分類器を訓練する統一的で柔軟なアプローチである。
これにより、線形性の仮定を回避し、別個のベクトル属性の保存とチューニングの必要性を排除し、再トレーニングなしに振る舞いの動的構成を可能にする。
アクティベーションに基づく分類器とLCMに基づく判定器の両方で検証された3つのモデルファミリーにおける実験結果から、K-ステアリングは複数の動作を正確に操る上で、強いベースラインより優れていることが証明された。
論文 参考訳（メタデータ） (2025-05-30T12:41:19Z) - Leveraging MLLM Embeddings and Attribute Smoothing for Compositional Zero-Shot Learning [21.488599805772054]
合成ゼロショット学習は、見かけの合成から学んだ属性やオブジェクトの新規な構成を認識することを目的としている。
以前の作業では、同じ属性を共有するイメージペア間の共有部分と排他的部分を抽出することで、属性とオブジェクトを歪めていた。
マルチモーダル大言語モデル (MLLM) という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-18T07:55:54Z) - Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。
成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。
勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
論文 参考訳（メタデータ） (2024-10-07T12:01:32Z) - Graph-guided Cross-composition Feature Disentanglement for Compositional Zero-shot Learning [54.08741382593959]
合成ゼロショット学習(CZSL)において、プリミティブ(属性とオブジェクト)の視覚的特徴の歪みは例外的な結果を示した。
異なる構成にまたがる一般的な非絡み合った原始的特徴を学ぶことは困難である。
本稿では,複数のプリミティブ共有合成を入力として利用するクロスコンポジション特徴分散の解を提案する。
論文 参考訳（メタデータ） (2024-08-19T08:23:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。