論文の概要: Human Interventions as Labels: Localizing, Steering, and (Sometimes) Editing the Computations Behind LLM Agent Failures

• arxiv url: http://arxiv.org/abs/2610.21708v1
• Date: Thu, 15 Oct 2026 11:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.051106
• Title: Human Interventions as Labels: Localizing, Steering, and (Sometimes) Editing the Computations Behind LLM Agent Failures
• Title（参考訳）: ラベルとしてのヒューマン・インターベンション:LLMエージェントの失敗の裏で計算を編集するローカライズ、ステアリング、時には)
• Abstract要約: 本研究では,視覚障害者の判断に対して,ルールに基づく監督者のラベルを付して,制御されたエージェント環境を1つの障害で調査する。 第一に、w-vs-act決定は、すべての資格を持つ家族に因果的ローカライズ可能である。 第二に、オーバーエイキングには2つのメカニスティックなシグネチャがある: 4つのファミリーでは、モデルは明らかにその要求が曖昧であることを知っている。
• 参考スコア（独自算出の注目度）: 41.99844472131922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When an LLM agent misbehaves, a human steps in, and that intervention is usually discarded or replayed as training data. We treat it instead as a measurement: a label pointing at the internal computation that failed. We study it in a controlled agent environment, on one failure (asking a clarifying question when the request was already unambiguous), with labels from a rule-based overseer validated against blind human judgment. Claims cover eligible models, which both over-ask and sometimes act on matched unambiguous requests: five of thirteen qualified (Qwen2.5-3B, gemma-2-2b, OLMo-3-7B, Mistral-Nemo-12B, Phi-4). Four findings. First, the ask-vs-act decision is causally localizable in every eligible family: a direction learned from intervention labels flips 72-100% of held-out over-asks at a definite residual-stream depth, with site and dose chosen on training data, and random directions under the same procedure flip at most one episode. Second, over-asking has two mechanistic signatures: in four families the model demonstrably knows the request is unambiguous (the belief is decodable, causally inert and orthogonal to the decision) and asks anyway; in the fifth, the rare over-asks track different world-representations. Third, steering gated on a probe readout removes most of the simulated oversight burden while legitimate questions survive (bootstrap 95% intervals exclude zero); a prompt instruction makes it worse. Fourth, consolidating the fix into the weights yields a map, not a rule: on one model a LoRA confined to the causal band passes every criterion fixed in advance while behavior cloning on identical data breaks retention; on three families the reverse holds; on the fifth the outcome crosses the boundary across seeds. A geometric rule written down in advance to predict the regime failed on two out-of-family tests; we report the failure and stop rather than fit a replacement.
• Abstract（参考訳）: LLMエージェントが誤動作した場合、人間が介入し、その介入は通常、トレーニングデータとして破棄または再生される。 代わりに測定として扱います – 失敗した内部計算を指し示すラベルです。 我々は、制御されたエージェント環境において、1つの失敗(要求がすでに曖昧であったときの明確な疑問)について調査し、ルールベースの監督者からのラベルを盲目の人間の判断に対して検証した。 13の資格を持つ5つの要求(Qwen2.5-3B、gemma-2-2b、OLMo-3-7B、Mistral-Nemo-12B、Phi-4)。 4つの発見。 介入ラベルから学習した方向は、一定の残留流深度で72～100%の保留オーバーアスクをフリップし、トレーニングデータに基づいてサイトと線量を選択し、ほとんどのエピソードで同じ手順でランダムな方向をフリップする。 第二に、オーバーエイキングには2つの機械的署名がある: 4つのファミリーでは、モデルは明らかにその要求が曖昧であること(その信念は決定に対して因果的、因果的、直交的である)を知っていて、いずれにせよ、第5に、稀なオーバーエイキングは異なる世界表現を追跡する。 第3に、プローブのリードアウトでゲートされたステアリングは、シミュレーションされた監視負荷の大部分を排除し、正当な質問は残る(ブートストラップ95%の間隔でゼロを除外)。 第4に、固定を重みに集約すると、規則ではなく地図が得られる: あるモデルでは、因果バンドに制限されたLoRAは、前もって固定された全ての基準を通過させ、同じデータ上の振る舞いのクローンは保持を破る。 前もって記した幾何学的規則は, 2つの家族内試験で失敗し, 代替品に適合せず, 故障と停止を報告した。

関連論文リスト

• Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation [40.2978746802106]
  LLM審査員は、きめ細かいルックスチェックリストに対する反応をますます評価している。 現在のメソッドは通常、それぞれを別々の推論コールで評価する。 その結果,どのルーリックが同一であるかによって,1つのルーリックシフトの判定が行われることがわかった。 我々は、4つの制御された操作を通して干渉を探索する測定フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-08-05T03:35:29Z)
• Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation [0.0]
  フェデレーションクラスをフロンティアの大規模言語モデルで文書化する。 故障は最初の観測で再現されるが、経験的表面は不安定である。 規制されたフロンティアモデルの正確性は、注意を払わずにシフトする移動したコンプライアンス境界である。
  論文  参考訳（メタデータ） (2026-07-25T22:40:02Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle [0.0]
  LLMエージェントは、コストを駆動する状態が直接観察されない複数週間の意思決定タスクにおいて、ますます評価される。 一部観測可能なマルコフ決定プロセスとして構築された26週間のサプライチェーン補充ベンチマークであるSTOCKTAKEを紹介する。
  論文  参考訳（メタデータ） (2026-07-15T09:08:27Z)
• Decodable Is Not Grounded: A Vision-Ablation Arbiter for VLM Spatial Reasoning [48.438568700670835]
  モデルから潜在的知識を読み出す標準的な方法は、視覚言語モデルがイメージに根ざしたものを体系的に上書きすることができる。 本研究では,空間的推論において,一直線因果制御によって露呈した探究と操舵の両方に誤差が見えないことを示す。
  論文  参考訳（メタデータ） (2026-06-30T07:33:18Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults [0.0]
  LLMエージェントは、ソーシャルフィード、検索結果、検索コンテキスト、電子メールキューなどのランク付けされた外部情報ストリームを消費した後、ますます行動する。 モデル,ペルソナ,トピック,最終決定のプロンプトを保持する制御プロトコルを導入し,エージェントが遭遇するポストの構成と順序だけを変化させる。 我々は, 逆降圧, デフォルト飽和, 一方のフィードが真に不確実な決定を下す非対称性の3つの応答機構を同定した。
  論文  参考訳（メタデータ） (2026-05-30T22:43:23Z)
• Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science [0.11280931253550518]
  6つのTweetEvalタスクに対して、オープンソースの7B命令チューニングモデル(Zephyr、Mistral-Instruct、Qwen2.5-Instruct)を監査する。 3モデルとも中絶の姿勢に中立バイアスを示し、反対の頻度を24～40ポイント過小評価し、中立ラベルを膨らませる。 興味深いことに、Zephyrのヘイトスピーチの有病率推定は、クラス条件誤差が両方の方向で大きいのに対して、ゴールドレートと正確に一致している。
  論文  参考訳（メタデータ） (2026-05-12T08:14:10Z)
• Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models [38.162539966977484]
  大規模言語モデル(LLM)は、人間の心理学からの規則発見研究に適応することで、確証バイアスを示す。 LLMは確証バイアスを示し、しばしば三重項を偽造するよりも、仮説を確証するために提案する。
  論文  参考訳（メタデータ） (2026-04-02T19:39:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。