論文の概要: Sweep Less, Steer More: Using Activation Steering Geometry for Reduced Hyperparameter Search

• arxiv url: http://arxiv.org/abs/2611.01496v1
• Date: Sun, 01 Nov 2026 03:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.479285
• Title: Sweep Less, Steer More: Using Activation Steering Geometry for Reduced Hyperparameter Search
• Title（参考訳）: Sweep Less, Steer More: アクティベーションステアリング幾何によるハイパーパラメーター探索の低減
• Abstract要約: 我々は、ステアリング方向に沿って、コントラスト的なトレーニングアクティベーションがいかに分離するかを測る、計算チープな幾何測度である、識別可能性指数$d'$に基づいて構築する。 3つのモデル上での5つの行動にまたがって、データセットレベルのステアビリティ予測器としての確立された役割以上の用途を実演する。
• 参考スコア（独自算出の注目度）: 9.116195090478572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation steering methods like difference-in-means (DIM) offer a lightweight approach to controlling LLM behavior, but their effectiveness varies widely across concepts, datasets, and layers, making principled deployment costly without exhaustive hyperparameter sweeps. We build on the discriminability index $d'$, a compute-cheap geometric measure of how well contrastive training activations separate along the steering direction. Across five behaviors on 3 models, we demonstrate uses beyond its established role as a dataset-level steerability predictor. First, in the multiple-choice question answering (MCQA) setting, we show that $d'$ reliably identifies performant layers at which to steer, eliminating the need for a layer-wise sweep. Second, we extend this analysis to open-ended multi-token generation, and find that $d'$ remains successful for layer selection across different settings. Lastly, we test whether the position of a generated token's representation on the DIM line predicts steering success on that individual example. In the MCQA setting, this works for high-$d'$ datasets but is inconsistent across behaviors, models, and training-token choices in open-ended generation. This highlights that methods developed and conclusions drawn in single-token MCQA settings do not necessarily transfer to open-ended generation.
• Abstract（参考訳）: difference-in-means (DIM)のような表現ステアリング手法は、LCMの振る舞いを制御するための軽量なアプローチを提供するが、その効果は概念、データセット、レイヤによって大きく異なり、徹底的なハイパーパラメータスイープを使わずに、原則的なデプロイメントをコストで行うことができる。 我々は、ステアリング方向に沿って、コントラスト的なトレーニングアクティベーションがいかに分離するかを測る、計算チープな幾何測度である、識別可能性指数$d'$に基づいて構築する。 3つのモデル上での5つの行動にまたがって、データセットレベルのステアビリティ予測器としての確立された役割以上の用途を実演する。 まず、Multiple-choice Question answering (MCQA) 設定において、$d'$ は、ステアリングするパフォーマンス層を確実に識別し、レイヤワイド・スイープの必要性を排除していることを示す。 第二に、この分析をオープンエンドのマルチトークン世代に拡張し、異なる設定の層選択で$d'$が引き続き成功することを示す。 最後に、生成したトークンのDIMラインでの表現位置が、その個々の例でのステアリング成功を予測できるかどうかを検証する。 MCQA設定では、これは高d'$データセットで機能するが、オープンエンド世代における振る舞い、モデル、トレーニングトケン選択に一貫性がない。 このことは、シングルトークンMCQA設定で作成されたメソッドと結論が、必ずしもオープンエンド世代に転送されるとは限らないことを強調している。

関連論文リスト

• Representation--Behavior Alignment for Explainable Weakly-Supervised Video Anomaly Detection [85.80105227185304]
  MLLM(MultiBehavior Large Language Models)は、ビデオの異常検出をより説明しやすいものにするための自然な方法である。 彼らの最終決定は、隠された状態に含まれる差別的な情報を常に完全に利用するとは限らない。 我々はこのギャップをキャパシティコンポーネントに分解し、読み出し位置に集約されない識別情報を計測する。 背骨の約0.012%を更新しながらビデオレベルラベルのみを用いてこれらの層を適応させるパラメータ効率の高い手法であるRepresentation-Behavior Alignment (RBA)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T11:21:28Z)
• Unsupervised Features Mining via Activation Geometry [1.3636639880574484]
  解釈可能性法は、大きな言語モデル(LLM)内で表現される特徴を明らかにすることを目的としている。 EmphMining via Activation Geometry (MAG) は、モデルアクティベーションから推論特徴を抽出する単純な教師なしフレームワークである。 命令がモデルの内部表現をどのように変更するかを、単一の読み取りポイントで$m(Q mid p) - m(p)$を使って測定する。
  論文  参考訳（メタデータ） (2026-07-05T10:28:04Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
  RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。 役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。 軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
  論文  参考訳（メタデータ） (2025-08-06T21:59:34Z)
• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
  私たちはSingle-Passを紹介します。 Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。 数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。 ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• DEL: Context-Aware Dynamic Exit Layer for Efficient Self-Speculative Decoding [7.204881999658682]
  DELは、推論中に出口層と投機長を適応的に選択するプラグイン・アンド・プレイ方式である。 Delは、全体的なスピードアップを$2.16times$$sim$2.62times$ over vanilla auto-regressive decoding で達成している。
  論文  参考訳（メタデータ） (2025-04-08T01:12:59Z)
• Learning Distinctive Margin toward Active Domain Adaptation [27.091800612463455]
  本研究では,Select-by-Distinctive-Margin (SDM) という,簡潔だが効果的なADA法を提案する。 SDMは、データ選択のための最大マージン損失とマージンサンプリングアルゴリズムからなる。 我々は、SDMを標準的なアクティブな学習設定でベンチマークし、我々のアルゴリズムが優れたデータスケーラビリティで競合する結果を達成することを実証した。
  論文  参考訳（メタデータ） (2022-03-11T03:30:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。