論文の概要: RealControlBench: A Benchmark for Interpretability-Informed Fine-Grained Control of LLMs and Agents

• arxiv url: http://arxiv.org/abs/2610.27295v1
• Date: Mon, 19 Oct 2026 21:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.514628
• Title: RealControlBench: A Benchmark for Interpretability-Informed Fine-Grained Control of LLMs and Agents
• Title（参考訳）: RealControlBench: LLMとエージェントの解釈可能性インフォームによる微粒化制御のためのベンチマーク
• Abstract要約: RealControlBench は LLM および LLM エージェントのきめ細かいステアリングを評価するための総合的なベンチマークである。 分離された世代を超えて、複雑な実行基盤を持つマルチターンエージェントインタラクションまで、ステアリング評価を拡張する。 迅速なバリエーション、ドメイン、モデルアーキテクチャにまたがって、ステアリング効果が具体的かつ堅牢であるかどうかを調べる。
• 参考スコア（独自算出の注目度）: 60.204279574159045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing steering benchmarks are built around simplified, isolated generation tasks and evaluate a single behavioral attribute under controlled settings that do not reflect the diversity and complexity of practical deployment. As a result, performance on these benchmarks provides only a limited picture of how steering methods perform in the real world. We therefore introduce RealControlBench, a comprehensive benchmark for evaluating fine-grained steering of LLMs and LLM agents across diverse behavioral targets and interaction settings. RealControlBench extends steering evaluation beyond isolated generations to complex, execution-grounded, multi-turn agent interactions, covering five complementary dimensions: instruction-following control, agentic tool-use decision control, reasoning-performance steering, reasoning-length control, and trajectory-conditioned safety awareness. Rather than measuring steering success alone, the benchmark jointly evaluates target controllability and capability preservation, including instruction following, reasoning performance, and downstream agent utility and safety. It further examines whether steering effects remain specific and robust across prompt variations, domains, and model architectures. Our evaluation shows that existing steering methods remain unreliable across realistic control objectives: they often fail to consistently induce the intended behavior and can substantially degrade the model's underlying task performance. These results suggest that strong steering effects in controlled settings do not necessarily translate into reliable control in more realistic evaluations. By providing a unified, model-agnostic steering evaluation framework, RealControlBench aims to support the development of steering methods that are not only effective but also precise, robust, and useful in realistic AI deployments.
• Abstract（参考訳）: 既存のステアリングベンチマークは、単純化された独立した生成タスクを中心に構築され、実用的なデプロイメントの多様性と複雑さを反映しないコントロールされた設定の下で、単一の振る舞い属性を評価する。 結果として、これらのベンチマークのパフォーマンスは、実際の世界でのステアリングメソッドのパフォーマンスの限られた図のみを提供する。 そこで本研究では,多種多様な行動目標とインタラクション設定にまたがるLLMおよびLLMエージェントのきめ細かいステアリングを評価するための総合ベンチマークであるRealControlBenchを紹介する。 RealControlBenchは、分離された世代を超えて、複雑な実行基盤を持つマルチターンエージェントインタラクションにステアリング評価を拡張し、命令追従制御、エージェントツール使用決定制御、推論パフォーマンスステアリング、推論長制御、軌道条件付き安全意識の5つの相補的な次元をカバーする。 このベンチマークは、操舵の成功を単独で測定するのではなく、指示追従、推論性能、下流エージェントの実用性と安全性を含む目標制御性と能力の保存を共同で評価する。 さらに、迅速なバリエーション、ドメイン、モデルアーキテクチャにまたがって、ステアリング効果が具体的かつ堅牢であるかどうかについても検討する。 我々の評価では、既存のステアリング手法は現実的な制御対象に対して信頼できないままであり、しばしば意図した振る舞いを連続的に導き出せず、モデルの基本的タスク性能を著しく低下させることができる。 これらの結果から,制御条件下での強い操舵効果が,より現実的な評価において信頼性の高い制御に必ずしも変換されないことが示唆された。 RealControlBenchは、統一されたモデルに依存しないステアリング評価フレームワークを提供することで、効果的なだけでなく、正確で、堅牢で、現実的なAIデプロイメントで有用なステアリングメソッドの開発を支援することを目指している。

関連論文リスト

• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• FaithSteer-BENCH: A Deployment-Aligned Stress-Testing Benchmark for Inference-Time Steering [11.609466767597093]
  FaithSteer-BENCHはストレステストベンチマークである。 制御性, 実用性, 堅牢性の3つのゲートワイド基準により, 固定配置式運転点での操舵方法を評価する。 ゲートワイズベンチマークの結果は、既存の手法がデプロイメント指向の実践的設定において信頼性の高い制御性を提供するとは限らないことを示している。
  論文  参考訳（メタデータ） (2026-03-18T22:28:36Z)
• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• ATLAS: Adaptive Test-Time Latent Steering with External Verifiers for Enhancing LLMs Reasoning [13.073472989807675]
  我々はATLAS(Adaptive Test-Time Latent Steering)を提案する。 ATLASは外部の軽量潜伏検証器を用いて推論時のステアリング決定を動的に制御する。 複数の数学的推論ベンチマークの実験は、ATLASがバニラ復号化と固定ステアリングベースラインの両方を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-01-06T15:27:24Z)
• Activation Steering with a Feedback Controller [4.609594868699996]
  Proportional-Integral-Derivative (PID) Steeringは、大きな言語モデルにおけるアクティベーションステアリングに完全なPIDコントローラを利用する、原則化されたフレームワークである。 PIDステアリングは既存のアプローチを一貫して上回り、より堅牢で信頼性の高い行動制御を実現する。
  論文  参考訳（メタデータ） (2025-10-05T18:05:28Z)
• SteeringSafety: A Systematic Safety Evaluation Framework of Representation Steering in LLMs [42.189660766537536]
  我々は17のデータセットにまたがる7つの安全性の観点から、表現ステアリング手法を評価するための体系的なフレームワークであるSteeringSafetyを紹介した。 当社のフレームワークは,DIM,ACE,CAA,PCA,LATの統一的な実装を実現するとともに,最近のコンディショナルステアリングなどの拡張を施した,最先端のステアリング手法のためのモジュール化されたビルディングブロックを提供する。
  論文  参考訳（メタデータ） (2025-09-16T18:36:22Z)
• Beyond Prompt Engineering: Robust Behavior Control in LLMs via Steering Target Atoms [71.85633762642125]
  モデルにおける膨大な数のパラメータは、しばしば高度に絡み合った内部表現をもたらす。 最近の研究は、スパースオートエンコーダ(SAE)を用いて、ステアリングのための高次元空間における知識を歪めている。 本研究では,非絡み合った知識コンポーネントを分離・操作し,安全性を高める手法であるステアリングターゲット原子(STA)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T17:59:18Z)
• Control-ITRA: Controlling the Behavior of a Driving Model [14.31198056147624]
  エージェントの動作に影響を与える制御ITRAと呼ばれる手法を,ウェイポイントの割り当てと目標速度の変調によって導入する。 本手法は, 可制御性, 無屈折性トラジェクトリを生成できると同時に, 視界と見えない位置の両方でリアリズムを保ち得ることを示す。
  論文  参考訳（メタデータ） (2025-01-17T03:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。