論文の概要: Adversarially Attacking Symbolic Vocabulary Vulnerabilities In LLM Planners
- arxiv url: http://arxiv.org/abs/2611.17910v1
- Date: Fri, 13 Nov 2026 08:51:07 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:28:49.210274
- Title: Adversarially Attacking Symbolic Vocabulary Vulnerabilities In LLM Planners
- Title(参考訳): LLMプランナにおけるシンボル語彙脆弱性の逆攻撃
- Abstract要約: 大規模言語モデル(LLM)は、ますます自律的なエージェントとしてデプロイされている。
LLMの計画能力は、特に象徴的な語彙におけるコモンセンスの手がかりを利用できない場合、堅牢ではない。
我々は,LLMエージェントがどの程度重大な弱点を持つかを明らかにするために,敵攻撃の枠組みを利用する。
- 参考スコア(独自算出の注目度): 12.367696995897271
- License:
- Abstract: As large language models (LLMs) are increasingly deployed as autonomous agents, their abilities in navigating automated planning tasks have become essential. However, despite their strengths, LLMs' planning ability is not robust, particularly when they are not allowed to exploit commonsense cues in the symbolic vocabulary (e.g., names of actions, predicates, and objects) used to define planning tasks. This makes LLMs unreliable compared to symbolic planners. With recent reasoning models showing improved planning performance on tasks with obfuscated symbolic vocabularies, we utilize an adversarial attack framework to reveal to what extent the crucial weaknesses of LLM agents at joint symbolic interpretation and planning remain and whether they can reason properly when presented with severe cases. As such, our main contribution is devising an LLM-based attack model, which we call Symbolic Swapper, to automatically generate obfuscated planning domains with non-standard symbolic vocabularies that systematically break strong reasoning models' ability to plan. In doing so, we reveal how much LLMs' planning abilities can be further degraded under more advanced obfuscation schemes, allowing us to ascertain their success when having to rely on their pure planning ability. We find that attacks can decrease the planning performance of base models and even robust planning frameworks by over 70%. We further analyze the factors behind how LLM planning abilities break down and find that successful obfuscation causes models to appear to significantly degrade in reasoning quality despite them showing some inherent ability to understand the domain, revealing a gap in the perception of a task domain and being able to plan under it.
- Abstract(参考訳): 大規模言語モデル(LLM)は、自律的なエージェントとしてますますデプロイされているため、自動計画タスクをナビゲートする能力は不可欠である。
しかし、LLMの計画能力は強固ではないが、特に、計画タスクを定義するのに使用される象徴的な語彙(例えば、行動の名前、述語、対象物)のコモンセンスの手がかりを利用できない場合には、強固である。
これにより、LLMはシンボリックプランナーに比べて信頼性が低い。
難解な記号語彙を持つタスクにおける計画性能の向上を示す最近の推論モデルを用いて,LLMエージェントの複合的記号解釈・計画における重大な弱点の程度と,重篤な事例を提示した場合に適切に推論できるかどうかを明らかにする。
そのため、我々は、Symbolic Swapperと呼ばれるLSMベースの攻撃モデルを考案し、計画する強力な推論モデルの能力を体系的に破壊する非標準的なシンボル語彙を持つ難解な計画ドメインを自動生成する。
そこで我々は, LLMの計画能力が, より高度な難読化スキームによってさらに劣化し, 純粋な計画能力に頼らざるを得ない場合の成功を確かめることができた。
攻撃によってベースモデルやロバストな計画フレームワークの計画性能が70%以上低下することを発見した。
さらに,LCMの計画能力の崩壊の背景にある要因を解析し,達成された難読化が,ドメインを理解する固有の能力を示し,タスクドメインの認識にギャップを生じさせ,その下で計画できるにもかかわらず,品質の推論においてモデルが著しく劣化することを示す。
関連論文リスト
- Towards Reliable and Robust LLM Planning: Symbolic Feedback-Driven Iterative Self-Refinement Framework [12.713854675991692]
大規模言語モデル(LLM)は学術や産業から広く注目を集めているが、その展開は堅牢性と信頼性に関する重要なセキュリティ上の懸念を提起している。
本研究では,長期計画におけるLLMの堅牢性と信頼性を高めるために,シンボル的フィードバック駆動型反復自己調整フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-26T06:24:33Z) - Seeing is Believing: Belief-Space Planning with Foundation Models as Uncertainty Estimators [34.28879194786174]
オープンワールド環境における汎用的なロボット移動操作は、長い地平線、複雑な目標、部分的な観測可能性といった大きな課題を生んでいる。
これらの課題に対処するための有望なアプローチは、タスクプランナーがこれらのスキルをシーケンスして、構造化言語で指定された目標を達成する、パラメータ化されたスキルのライブラリを計画することである。
本稿では、視覚言語モデルを利用して不確実性を推定し、シンボリックグラウンド化を促進する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-04T07:48:53Z) - Think Small, Plan Smart: Minimalist Symbolic Abstraction and Heuristic Subspace Search for LLM-Guided Task Planning [19.421916137269275]
大規模言語モデル(LLM)は、複雑で曖昧な自然言語命令を実行可能な計画に変換するための有望なインターフェースを提供する。
最近のフレームワークは、まずアクションモデル(Planning Domain Definition Language)を生成し、次に検索を適用することで、LCMとシンボリックプランナーを組み合わせる。
抽象的シンボル表現とメタヒューリスティックな部分空間探索を並列かつ反復的に統合する2段階のLLMシンボリック計画フレームワークPLAHXを提案する。
論文 参考訳(メタデータ) (2025-01-25T13:33:22Z) - Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。
CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。
反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
論文 参考訳(メタデータ) (2024-09-19T04:13:58Z) - Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。
我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。
本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
論文 参考訳(メタデータ) (2024-06-18T22:57:06Z) - KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [52.34892973785117]
大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。
この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。
我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
論文 参考訳(メタデータ) (2024-03-05T16:39:12Z) - Introspective Planning: Aligning Robots' Uncertainty with Inherent Task Ambiguity [0.659529078336196]
大規模言語モデル(LLM)は高度な推論能力を示し、ロボットが自然言語の指示を理解し、高レベルの行動を戦略的に計画することを可能にする。
LLMの幻覚は、ロボットがユーザー目標と不一致の計画を実行したり、クリティカルなシナリオでは安全でないりする可能性がある。
本稿では,LLMの不確かさとタスク固有のあいまいさを一致させる系統的手法であるイントロスペクティブプランニングを提案する。
論文 参考訳(メタデータ) (2024-02-09T16:40:59Z) - LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。
当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文 参考訳(メタデータ) (2023-12-30T02:53:45Z) - Plansformer: Generating Symbolic Plans using Transformers [24.375997526106246]
大規模言語モデル(LLM)は、自然言語処理(NLP)分野を著しく進歩させ、活発な研究対象となっている。
プランフォーマーは計画上の問題に微調整され、知識工学の努力を減らし、正確さと長さの点で良好な行動で計画を生成することができる。
Plansformerの1つの構成では、97%の有効なプランが達成されます。
論文 参考訳(メタデータ) (2022-12-16T19:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。