論文の概要: Sparse Internal Control of Language Models

• arxiv url: http://arxiv.org/abs/2611.04349v1
• Date: Tue, 03 Nov 2026 05:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-10 01:55:34.358543
• Title: Sparse Internal Control of Language Models
• Title（参考訳）: 言語モデルのスパース内部制御
• Abstract要約: 内部介入は言語モデルの振る舞いを変えることができるが、コンパクトなマルチサイト制御インタフェースの選択と評価は未解決のままである。 少数の内部モデルノードに推論時間介入を適用することにより、ターゲット動作を操るフレームワークであるスパース内部制御を導入する。 本稿では,6軸制御評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 1.2292186162350942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are increasingly used in text generation, decision support, and automated interaction, creating a need for localized, reversible, and selective control of their behavior. Activation steering demonstrates that internal interventions can alter the behavior of frozen models, but how to select and evaluate compact, multi-site control interfaces remains an open question. I introduce sparse internal control, a framework for steering target behavior by applying inference-time interventions to a small set of internal model nodes. A local target-controllability formulation characterizes candidate site--direction pairs by their behavioral effects and specifies constraints on target recovery, off-target preservation, and intervention energy. Two complementary selectors instantiate this formulation: Driver-OMP selects nodes for sparse reconstruction of a desired behavioral displacement, while Coverage-Driver favors stable coverage across prompts. I propose a six-axis control-evaluation protocol measuring reachability, signed reversal, dose response, feedback controllability, off-target preservation, and held-out reuse. Exploratory experiments on indirect object identification, MMLU multiple-choice question answering, sentiment steering, and refusal steering provide evidence for the feasibility of steering task-defined behavior through sparse internal interventions. The six-axis evaluation characterizes these interventions beyond target movement, revealing distinct control properties that depend on the task and available direction information. Together, the formulation, reference algorithms, and evaluation protocol provide a foundation for the systematic study and development of internal control methods for language models.
• Abstract（参考訳）: 言語モデルは、テキスト生成、意思決定のサポート、自動インタラクションにますます使われ、その振る舞いを局所化し、可逆的に、選択的に制御する必要がある。 活性化ステアリングは、内部介入が凍結モデルの挙動を変えることを実証するが、コンパクトなマルチサイト制御インタフェースをどうやって選択し評価するかは未解決の問題である。 少数の内部モデルノードに推論時間介入を適用することで、目標動作を操るフレームワークであるスパース内部制御を導入する。 局所的な標的制御可能性の定式化は、その行動効果によって候補部位指向対を特徴づけ、目標回復、標的外保存、介入エネルギーに対する制約を規定する。 ドライバ-OMPは所望の行動変位をスパースに再構築するためのノードを選択し、Coverage-Driverはプロンプトをまたいで安定したカバレッジを選択する。 本稿では,6軸制御評価プロトコルを提案する。 間接的物体識別、MMLU多重選択質問応答、感情ステアリング、拒絶ステアリングに関する探索実験は、スパース内部介入によるタスク定義行動の実現可能性を示す。 6軸評価は、これらの介入を目標運動を超えて特徴付け、タスクと利用可能な方向情報に依存する異なる制御特性を明らかにする。 定式化,参照アルゴリズム,評価プロトコルは,言語モデルの内部制御手法の体系的研究と開発のための基盤を提供する。

関連論文リスト

• PRIME: Predictive Routing of Interventions by Modeling Effects for Scientific Ideation [59.063667990620786]
  本稿では,既存の科学思想家のためのプラグ・アンド・プレイ型フィードバック・ツー・リビジョン決定層であるPRIMEを紹介する。 診断介入ミスマッチは,112対の人間に注釈を付けたアイデアフィードバックペアで検証した。
  論文  参考訳（メタデータ） (2026-11-02T12:49:33Z)
• Information-Theoretic Design of Sparse Autoencoder-Based Steering [0.0]
  スパースオートエンコーダ(SAE)ベースのアクティベーションステアリングは、大規模言語モデルの振る舞いを変更するための軽量なアプローチである。 本研究では,経験的特徴量分布を用いたSAE活性化分析のための情報理論フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-11-01T00:33:01Z)
• RealControlBench: A Benchmark for Interpretability-Informed Fine-Grained Control of LLMs and Agents [60.204279574159045]
  RealControlBench は LLM および LLM エージェントのきめ細かいステアリングを評価するための総合的なベンチマークである。 分離された世代を超えて、複雑な実行基盤を持つマルチターンエージェントインタラクションまで、ステアリング評価を拡張する。 迅速なバリエーション、ドメイン、モデルアーキテクチャにまたがって、ステアリング効果が具体的かつ堅牢であるかどうかを調べる。
  論文  参考訳（メタデータ） (2026-10-19T21:10:03Z)
• Behavioural self-monitoring for autonomous earth observation agents: The attribute reliability monitor (ARM) [51.56484100374058]
  この研究は、個々のセマンティック属性を評価するために時間をかけて疑念の証拠を蓄積するフレームワークである属性信頼性モニター(ARM)を導入している。 ARMは異なる検出器と時間モニタリング方法に対応し、介入ポリシーを消費システムに残す。 衛星熱赤外画像のための特殊な視覚言語モデルを用いて初期実装を評価した。
  論文  参考訳（メタデータ） (2026-10-13T15:25:41Z)
• Jevolution: A Framework for Studying Communication and Collective Dynamics in AI Agents [2.2940141855172036]
  本稿では,依存関係を明示する空間捕食者・捕食者・捕食者の計器的枠組みであるJevolutionを紹介する。 この貢献は、新しいポリシー学習アルゴリズムではなく、検査可能な実験システムとその証拠境界である。
  論文  参考訳（メタデータ） (2026-10-10T01:26:29Z)
• Adaptive Multi-Value Control in LLMs via Causal Activation Steering [6.142860207884955]
  適応型多値アクティベーションステアリングのためのフレームワークであるAIMESを紹介する。 複数値の制御性は、値の組み合わせと介入の深さの両方で異なる。 固定継手ステアリングとプロンプトベースステアリングと比較すると, AIMESは深度依存性の利点を示す。
  論文  参考訳（メタデータ） (2026-09-24T18:07:55Z)
• Agentic Control in Variational Language Models [0.0]
  本研究では,変分言語モデルが,内的根拠に基づく最小かつ測定可能なエージェント制御をサポートできるかどうかを考察する。 本モデルでは, 局所変動隠蔽計算(EVE), ホメオスタティック潜伏制御器, 構造的に認識されたチェックポイント保持と, 保持モデル上で動作する校正不確実性認識コントローラを組み合わせる。
  論文  参考訳（メタデータ） (2026-04-14T09:47:53Z)
• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。