論文の概要: Deep Noir: Autonomous Steering Discovery via Architectural Chronometry in Transformer Models

• arxiv url: http://arxiv.org/abs/2609.20722v1
• Date: Thu, 17 Sep 2026 17:16:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.397113
• Title: Deep Noir: Autonomous Steering Discovery via Architectural Chronometry in Transformer Models
• Title（参考訳）: Deep Noir: トランスフォーマーモデルにおけるアーキテクチャクロノメトリによる自律ステアリングディスカバリ
• Abstract要約: Deep Noirは、最適なステアリングパラメータを自律的に発見するために、Logit Lens収束と因果的頭部レベルの属性を使用するフレームワークである。 我々のエンジンは1Bでスパムの16.7ポイント改善(標準偏差4.7; 39ラン)を行い、4つのアーキテクチャで7-9Bで21から42ポイント向上した。
• 参考スコア（独自算出の注目度）: 0.9786690381850356
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Activation steering modifies LLM behavior at inference time, but identifying where and how strongly to steer remains manual. We introduce Deep Noir, a framework that uses Logit Lens convergence and causal head-level attribution to autonomously discover optimal steering parameters. Across three scales (1B x 3, 2-3B x 2, and 7-9B x 4), our engine achieves 16.7 percentage-point improvement on spam at 1B (standard deviation 4.7; 39 runs), with gains increasing to 21 to 42 percentage points at 7-9B across four architectures. On SST-2 sentiment, it achieves a 13.1 percentage-point improvement with zero code changes. Mechanistic grounding enables automated discovery of intervention points that generalize across tasks and architectures. On sentiment, RepE without head masking fails to improve over baseline, while Deep Noir improves all models (p less than 0.01). We further show that steering creates a predictable prompt-injection attack surface whose vulnerability increases monotonically with steering magnitude. This finding is relevant to agent systems deploying steered classifiers.
• Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、LLMの動作を推論時に変更するが、スタイアが手動のままである場所と強さを特定する。 我々は,最適操舵パラメータを自律的に発見するために,Logit Lensコンバージェンスと因果的頭位属性を利用するフレームワークであるDeep Noirを紹介する。 3つのスケール(1B x 3, 2-3B x 2, 7-9B x 4)で1Bでスパムの16.7ポイント改善(標準偏差4.7; 39ラン)を行い、4つのアーキテクチャで7-9Bで21から42ポイント向上した。 SST-2の感情では、コードの変更ゼロで13.1ポイントの改善を実現している。 メカニスティックグラウンドリングは、タスクやアーキテクチャをまたいで一般化する介入ポイントの自動発見を可能にする。 感情的には、ヘッドマスクのないRepEはベースラインよりも改善できず、Deep Noirはすべてのモデルを改善する(pは0.01未満)。 さらに, ステアリングは, ステアリング等級とともに脆弱性が単調に増大する予測可能なプロンプトインジェクション攻撃面を生成することを示す。 この発見は、ステアード分類器をデプロイするエージェントシステムに関係している。

関連論文リスト

• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models [13.298401993417611]
  本稿では,MoE言語モデルのためのルータに依存しない表現工学フレームワークを提案する。 RAREは任意の挙動摂動をルータ行列のヌル空間に投影し、ルータ可視成分を除去する。 有害なステアリングでは、RAREは平均攻撃成功率53.3%に達し、67.8%のMMLU精度を維持している。
  論文  参考訳（メタデータ） (2026-08-21T15:45:36Z)
• APEX: Adaptive Principle EXtraction A Three-Layer Self-Evolution Framework for Production AI Agents [0.0]
  AIエージェントの自己改善は、重要な研究フロンティアとして現れている。 同時に進化する3層共進化フレームワークであるAPEXを提案する。 その結果,多次元共進化は単一軸ハーネス最適化を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2026-06-13T15:47:27Z)
• Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models [2.464003792743989]
  アクティベーションステアリングは、大規模言語モデルの振る舞い制御のための微調整の軽量な代替手段を提供する。 非重みのないボルダのコンセンサスを通じてスパースな特徴をランク付けする,透明なSAE機能ステアリングパイプラインを導入する。 3つのGemmaファミリーモデル、4つの振舞いドメイン、356の層長構成で、測定可能なドメイン固有のシフトを生成する。
  論文  参考訳（メタデータ） (2026-06-05T19:27:31Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Shifting Perspectives: Steering Vectors for Robust Bias Mitigation in LLMs [8.91107152198979]
  本稿では,大規模言語モデル(LLM)において,前方通過におけるモデルアクティベーションの修正にステアリングベクトルを適用することにより,バイアス軽減手法を提案する。 我々は、BBQデータセットのトレーニングサブセット上で、それぞれ異なる社会的バイアス軸に対応する8つのステアリングベクトルを計算し、これらの有効性を4つのデータセットにまたがる3つのバイアス緩和手法と比較する。 BBQデータセットに最適化すると、個別に調整されたステアリングベクトルは、BBQで12.8%、CLEAR-Biasで8.3%、StereoSetで1%の平均的な改善が達成される。
  論文  参考訳（メタデータ） (2025-03-07T12:25:29Z)
• S*: Test Time Scaling for Code Generation [55.11863577956177]
  コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-20T09:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。