論文の概要: A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models

• arxiv url: http://arxiv.org/abs/2607.05615v1
• Date: Mon, 06 Jul 2026 20:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.317864
• Title: A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models
• Title（参考訳）: コインフリップ・パー・トークン:Bernulli Sparse Steering of Large Language Models
• Abstract要約: スパースオートエンコーダ(SAE)によるアクティベーションステアリングは、タスク固有の微調整なしで大きな言語モデルの動作制御を可能にするが、標準手法では生成されたトークン毎にステアリング信号を適用する。 確率$p$で各トークンを独立にゲートするToken Steering(STS)と、シーケンス毎に先頭ウィンドウをゲートするBlock Steering(SBS)を紹介する。 2つのモデルファミリーと2つの行動タスクにまたがって、トークンの50%しかステアリングを行なわず、フラエンシを保ちながら密接なステアリング効果のほとんどを回復させ、30%までステアリングはプロンプトベースの制御を超越する。
• 参考スコア（独自算出の注目度）: 12.373460256583583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering via sparse autoencoders (SAEs) enables behavioral control of large language models without task-specific fine-tuning, but standard methods apply the steering signal at every generated token, incurring constant per-token perturbation that risks degrading fluency. We ask: is dense intervention necessary? We introduce Stochastic Token Steering (STS), which gates each token independently with probability $p$, and Stochastic Block Steering (SBS), which gates a leading window once per sequence; neither requires a reward model or learned gating policy. Across two model families and two behavioral tasks, steering only 50% of the tokens recovers most of the dense-steering effect while preserving fluency, and steering as few as 30% surpasses prompt-based control. The optimal steering magnitude scales inversely with the intervention ratio, revealing that SAE-mediated control is rate-limited: the behavioral outcome depends on cumulative signal dosage across a sequence.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)による活性化ステアリングは、タスク固有の微調整なしで大きな言語モデルの動作制御を可能にするが、標準的な方法では、生成されたトークン毎にステアリング信号を適用し、フラッシーを低下させるリスクのある一定なトーケンの摂動を発生させる。 密接な介入は必要か? 確率$p$で各トークンを独立にゲートするStochastic Token Steering(STS)と、シーケンス毎に先頭ウィンドウをゲートするStochastic Block Steering(SBS)を紹介する。 2つのモデルファミリーと2つの行動タスクにまたがって、トークンの50%しかステアリングを行わず、頻度を保ちながら高密度のステアリング効果のほとんどを回復させ、30%までステアリングはプロンプトベースの制御を超越する。 最適ステアリングサイズは介入比とともに逆スケールし、SAEを介する制御がレート制限されていることが明らかになった。

関連論文リスト

• When is Your LLM Steerable? [56.656180566692946]
  アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。 ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。 生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-10T02:55:34Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models [2.464003792743989]
  アクティベーションステアリングは、大規模言語モデルの振る舞い制御のための微調整の軽量な代替手段を提供する。 非重みのないボルダのコンセンサスを通じてスパースな特徴をランク付けする,透明なSAE機能ステアリングパイプラインを導入する。 3つのGemmaファミリーモデル、4つの振舞いドメイン、356の層長構成で、測定可能なドメイン固有のシフトを生成する。
  論文  参考訳（メタデータ） (2026-06-05T19:27:31Z)
• Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation [59.80828456543202]
  幻覚緩和のためのTLVS(Token-Level Visual-Sensitivity Steering)を提案する。 このメカニズムはキャリブレーションのための最小限のトレーニングしか必要とせず、様々な視覚言語モデルに適用できる。 POPE, AMBER, CHAIR (COCO), MMHal, HallusionBenchなどのベンチマークでTLVSを評価し, 従来のステアリング法よりも一貫した改善が見られた。
  論文  参考訳（メタデータ） (2026-06-02T08:23:28Z)
• Primary-Fine Decoupling for Action Generation in Robotic Imitation [91.2899765310853]
  ロボット操作動作シーケンスにおけるマルチモーダル分布は、模倣学習にとって重要な課題である。 PF-DAG(プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、PF-DAG)を提案する。 PF-DAGは、Adroit、DexArt、MetaWorldベンチマークの56タスクで最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-02-25T08:36:45Z)
• OAT: Ordered Action Tokenization [44.20363344414952]
  自己回帰ポリシーは、離散的な抽象化、トークンレベルの推論、柔軟な推論を可能にすることで、スケーラブルなロボット学習のための魅力的な基盤を提供する。 既存のアプローチは、極端に長いトークン配列を生成する分析的な離散化法や、構造を持たない学習された潜在トークン化器に依存する。 本研究では,アクショントークン化のための3つのデシラタ(高圧縮,全復調性,左から右への因果的に順序付けられたトークン空間)を特定し,オーダードアクショントークン化(OAT)を導入する。 OATはレジスタを持つ変圧器、有限スカラー量子を用いて、アクションチャンクを順序付けられたトークン列に識別する
  論文  参考訳（メタデータ） (2026-02-04T05:01:04Z)
• Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection [1.7802147489386628]
  大規模言語モデル(LLM)は、有害な行動を引き起こす敵攻撃に対して脆弱なままである。 我々は2つの重要な革新を通じてこれらの制限に対処する選択ステアリングを提案する。 9つのモデルに対する実験により、選択ステアリングは以前の手法よりも5.5倍の攻撃成功率を達成することが示された。
  論文  参考訳（メタデータ） (2026-01-27T08:56:25Z)
• Dynamically Scaled Activation Steering [3.177576903071419]
  動的にスケールされたアクティベーションステアリング(DSAS)を導入します。これはメソッドに依存しないステアリングフレームワークで、ステアリングの仕方を分離します。 DSASは、層と入力間の既存の操舵変換の強度を適応的に調節し、望ましくない振る舞いが検出された場合にのみ強く介入する。
  論文  参考訳（メタデータ） (2025-12-03T10:50:15Z)
• The Rogue Scalpel: Activation Steering Compromises LLM Safety [11.402179030703188]
  アクティベーションステアリング(Activation steering)は、推論中にモデルの隠れ状態に直接意味論的意味のあるベクトルを追加することによって、LCMの動作を制御する技術である。 ステアリングはモデルアライメントの保護を系統的に破り、有害な要求に従わせる。
  論文  参考訳（メタデータ） (2025-09-26T08:49:47Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。