論文の概要: Understanding and Exploiting Initialization Anchoring Weakness in Feedback-Based Agent Planning

• arxiv url: http://arxiv.org/abs/2609.29697v1
• Date: Mon, 31 Aug 2026 06:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.113203
• Title: Understanding and Exploiting Initialization Anchoring Weakness in Feedback-Based Agent Planning
• Title（参考訳）: フィードバック型エージェント計画における初期化アンカリング弱さの理解と実行
• Abstract要約: 4つの代表的なフィードバックメカニズムのラウンドワイド分析を行い、アンカーの弱点を明らかにする。 我々の分析は、この弱点を3つの相互作用要因、すなわち、初期計画の文脈的に妥当なシフト、不十分な正当性、受理方向の持続性の3つに当てはめている。 我々は攻撃者が制御する外部素材を通じて、この弱点を悪用するためのブラックボックスフレームワークであるtextscInitAnchorを提案する。
• 参考スコア（独自算出の注目度）: 21.149128115340996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feedback-based planning improves agent reliability by incorporating tool observations and corrective feedback. However, its protection may not be distributed uniformly across planning stages. We conduct a round-wise analysis of four representative feedback mechanisms and uncover an initialization anchoring weakness: the first feedback round corrects 46\% of adversarial directions, whereas the rates fall to 13\% and 7\% among directions surviving into the next two rounds. Our analysis attributes this weakness to three interacting factors: a contextually plausible shift in the initial plan, insufficient counterevidence, and the persistence of accepted directions in the accumulated trajectory. Based on these findings, we propose \textsc{InitAnchor}, a black-box framework for exploiting this weakness through attacker-controlled external materials. It operationalizes the three factors as directional-shift, contextual-plausibility, and counterevidence-resilience signals under either limited target access or no target access. Across 112 tasks from 16 domains, six agent architectures, and five backbone LLMs, \textsc{InitAnchor} achieves average ASRs of 76.1\% and 72.0\% under the two settings while reducing first-round mitigation rates to 21.0\% and 25.0\%, respectively. It also remains effective against six defenses and across six real-world agent systems. These findings show that feedback-based agents can retain early biases even when later correction is available.
• Abstract（参考訳）: フィードバックベースのプランニングは、ツールの観察と修正フィードバックを取り入れることで、エージェントの信頼性を向上させる。 しかし、その保護は計画段階にわたって均一に分散されない。 第1のフィードバックラウンドは敵方向の46\%を補正し、第2のラウンドで残る方向のうち13\%と7\%に低下する。 我々の分析は、この弱点を3つの相互作用要因、すなわち、初期計画における文脈的に妥当なシフト、不十分な正当性、累積軌道における許容方向の持続性の3つに起因している。 これらの知見に基づいて,攻撃者が制御する外部材料を通じて,この弱点を悪用するためのブラックボックスフレームワークである,textsc{InitAnchor}を提案する。 これは、3つの要因を、限定されたターゲットアクセスまたはターゲットアクセスなしの方向シフト、文脈楽観性、および反証拠レジリエンス信号として運用する。 16のドメインから112のタスク、6つのエージェントアーキテクチャ、および5つのバックボーン LLM で、それぞれ2つの設定で平均76.1\%と72.0\%のASRを達成し、第1ラウンドの緩和率を21.0\%と25.0\%に下げる。 また、6つの防衛システムと6つの現実世界のエージェントシステムに対して有効である。 これらの結果は、フィードバックに基づくエージェントは、後続の修正が可能である場合でも早期バイアスを維持できることを示している。

関連論文リスト

• SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification [0.0]
  nsfaguardは、エージェントAIシステムを運用上の脅威から保護するためのガードレールフレームワークである。 まず,185種のリスク変異をCIA-Triad-grounded 階層に分類するNSFA分類について紹介する。 凍結したバックボーン上の識別的分類ヘッドと解釈可能なオフライン監査のためのSFTに基づく生成推論を組み合わせたデュアルモードアプローチを開発した。
  論文  参考訳（メタデータ） (2026-07-13T07:28:45Z)
• "I Strongly Suspect This Website Is a Scam": Benchmarking PII Leakage and Detection without Defense in Autonomous Web Agents [7.499940157426921]
  ソーシャルエンジニアリング攻撃は、フロンティアWebエージェントからクリティカルレベルPIIを抽出するのに非常に効果的である。 最重要レベルのPIIリークは、プライバシガイダンスなしで54～93%に達する。 以上の結果から,攻撃に対するエージェント自身の認識に条件付けされた防御が,誤ったシグナルを鳴らしていることが判明した。
  論文  参考訳（メタデータ） (2026-05-30T03:00:28Z)
• Safeguarding LLM Agents from Misalignment through Provenance Analysis [4.942326117464286]
  既存のランタイムガードレールは LLM-as-a-judge パラダイムに依存している。 本稿では,不整合検出を形式化する証明に基づく概念的枠組みを提案する。 ProvenanceGuardはミスアライメントトレースのエラー率を42.9%から1.8%に減らし、Agent-SafetyBenchでは32.1%から17.3%に減らした。
  論文  参考訳（メタデータ） (2026-05-01T03:16:35Z)
• Agentic Adversarial Rewriting Exposes Architectural Vulnerabilities in Black-Box NLP Pipelines [34.37967130277969]
  本稿では,意味摂動空間で動作する2エージェント回避フレームワークを提案する。 現代大言語モデル(LLM)ベースのシステムでは、普及率は19.95から40.34%である。 パターンインフォームド・ディフェンスは回避率を65.18%まで下げる。
  論文  参考訳（メタデータ） (2026-04-26T00:58:36Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Think Twice, Generate Once: Safeguarding by Progressive Self-Reflection [18.467741067831877]
  本稿では,大規模言語モデルを自己監視に活用し,その出力を動的に補正する新しい推論時間手法であるプログレッシブ・セルフリフレクションを紹介する。 Llama-3.1-8B-Instructに提案手法を適用した結果,攻撃成功率は77.5%から5.9%に低下した。 提案手法はテスト時間スケーリングの手法として機能し,追加の自己回帰ラウンドによって推論オーバーヘッドのコストで安全性が向上する。
  論文  参考訳（メタデータ） (2025-09-29T12:54:28Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。