論文の概要: INTENT-AS-A-TOOL Makes it Easy to Track Agentic Misalignment

• arxiv url: http://arxiv.org/abs/2608.27348v1
• Date: Thu, 27 Aug 2026 16:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.495559
• Title: INTENT-AS-A-TOOL Makes it Easy to Track Agentic Misalignment
• Title（参考訳）: エージェントのミスを追跡できるintent-AS-A-TOOL
• Abstract要約: エージェントは、目標の対立やプレッシャーの下で有害な行動をとる。 チェーン・オブ・シンクレット(CoT)モニタリングを用いることで、有害な実行は推論において意図的な信号に先行することが多いことが分かりました。 対象行動へのコミットメントを表現するための専用チャネルとして,意図目標のツールを追加するアプローチであるINTENT-AS-A-TOOLを導入する。
• 参考スコア（独自算出の注目度）: 27.025430116180477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are deployed as autonomous agents, safety failures increasingly involve consequential actions. We study agentic misalignment, where agents take harmful actions under goal conflicts and pressures. Using chain-of-thought (CoT) monitoring, we find that harmful execution is often preceded by intent signals in reasoning. However, post-hoc CoT labels are too coarse to show how intent changes during generation. We introduce INTENT-AS-A-TOOL, an approach that adds intent-targeted tools to give the model a dedicated channel for expressing commitment to a target behavior. The probability of calling an intent tool provides a judge-free, fine-grained signal of the model's tendency to pursue that behavior. Our results show that INTENT-AS-A-TOOL complements CoT monitoring, expands post-hoc CoT labels into dense trajectories, and identifies critical steps for online intervention. These findings suggest that action preferences are useful for tracking agentic misalignment during reasoning. Our code and data are accessible: https://github.com/RebeccaZhang22/intent-as-a-tool.
• Abstract（参考訳）: 大規模言語モデル(LLM)が自律的なエージェントとしてデプロイされるにつれて、安全上の障害は結果としての行動にますます関与する。 エージェントは、目標の対立やプレッシャーの下で有害な行動をとる。 チェーン・オブ・シンクレット(CoT)モニタリングを用いて、有害な実行は推論において意図的な信号に先行することが多いことを発見した。 しかし、ポストホットなCoTラベルは、世代間の意図の変化を示すには大きすぎる。 対象行動へのコミットメントを表現するための専用チャネルとして,意図目標のツールを追加するアプローチであるINTENT-AS-A-TOOLを導入する。 インテントツールを呼び出す確率は、モデルがその振る舞いを追求する傾向の判断自由できめ細かなシグナルを与える。 以上の結果から,INENT-AS-A-TOOLはCoTモニタリングを補完し,ポストホットCoTラベルを高密度トラジェクトリに拡張し,オンライン介入の重要なステップを特定する。 これらの結果から,行動選好は推論中のエージェント的不適応の追跡に有用であることが示唆された。 私たちのコードとデータは、https://github.com/RebeccaZhang22/intent-as-a-tool.comからアクセスできます。

関連論文リスト

• SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks [69.08780911753102]
  マルチターンジェイルブレイクはターン間で有害なインテントを前進させることでパターンを利用するため、単一のメッセージが完全な目的を公開することはない。 敵意構造を用いて多ターンジェイルブレイクを組織する4部構成の意図指向分類法を開発した。
  論文  参考訳（メタデータ） (2026-08-02T09:24:08Z)
• Moltbook Moderation: Uncovering Hidden Intent Through Multi-Turn Dialogue [24.086774100072788]
  BOT-MODは、従来のコンテンツレベルの信号ではなく、エージェント意図による検出を基盤とするフレームワークである。 この研究は、オープンなマルチエージェント環境におけるエージェントのスケーラブルで意図を意識したモデレーションの基礎を前進させる。
  論文  参考訳（メタデータ） (2026-05-13T01:04:16Z)
• One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue [55.98008208209856]
  マルチターン対話における隠れた悪意のある意図は、大規模言語モデル(LLM)に対する脅威を増大させる 近年の研究では、安全アライメントや外部ガードレールの進歩にもかかわらず、高度なガードレールを備えた近代的な商用モデルでさえも、このような攻撃に対して脆弱であることが示されている。 そこで本研究では,この課題に対処するため,最も早いタイミングで候補応答を届けることによって,蓄積された相互作用が有害な作用を可能にするのに十分であることを示す。
  論文  参考訳（メタデータ） (2026-05-07T03:35:31Z)
• Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs [0.0]
  オープンウェイト大規模言語モデル(LLM)はエージェントAIを民主化しているが、微調整されたウェイトは頻繁に共有され、リーダーボードのパフォーマンスを超えた限られた精査で採用されている。 これにより、サードパーティモデルが強力な行動保証なしで組み込まれるリスクが生じる。 有毒なモデルでは、良質なタスクに対して最先端のパフォーマンスを維持し、採用にインセンティブを与えていることを示す。
  論文  参考訳（メタデータ） (2026-03-02T22:01:08Z)
• On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
  次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。 我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。 本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
  論文  参考訳（メタデータ） (2026-01-29T17:48:56Z)
• The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
  LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。 本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。 標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-01-21T15:22:21Z)
• The Bitter Lesson of Diffusion Language Models for Agentic Workflows: A Comprehensive Reality Check [54.08619694620588]
  本稿では,2つの異なるエージェントパラダイムであるEmbodied AgentsとTool-Calling AgentsにまたがるdLLMの包括的評価を行う。 Agentboard と BFCL では,現在の dLLM が信頼できるエージェントバックボーンとして機能しないという,"ビットレッスン" が報告されている。
  論文  参考訳（メタデータ） (2026-01-19T11:45:39Z)
• ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration [68.89572566071575]
  ETAgentはエージェントのツール使用行動を調整するためのトレーニングフレームワークである。 過誤行動パターンを最適行動に段階的に校正するように設計されている。
  論文  参考訳（メタデータ） (2026-01-11T11:05:26Z)
• IPIGuard: A Novel Tool Dependency Graph-Based Defense Against Indirect Prompt Injection in LLM Agents [33.775221377823925]
  大規模言語モデル(LLM)エージェントは現実世界のアプリケーションに広くデプロイされており、複雑なタスクのために外部データを検索し操作するためのツールを活用している。 信頼できないデータソースと対話する場合、ツールレスポンスには、エージェントの動作に秘密裏に影響を与え、悪意のある結果をもたらすインジェクションが含まれている可能性がある。 我々はIPIGuardと呼ばれる新しい防御タスク実行パラダイムを提案し、ソースにおける悪意あるツール呼び出しを防止する。
  論文  参考訳（メタデータ） (2025-08-21T07:08:16Z)
• Adversarial Manipulation of Reasoning Models using Internal Representations [1.308812559547533]
  推論モデルは最終的な出力の前にチェーン・オブ・ソート(CoT)トークンを生成する。 モデルが拒否するか否かを予測するCoTトークン生成において,活性化空間における線形方向を同定する。 我々は、CoTトークンのアクティベーションのみに介入することで最終的な出力を制御することができ、この方向をプロンプトベースの攻撃に組み込むことで、成功率を向上させることを示す。
  論文  参考訳（メタデータ） (2025-07-03T20:51:32Z)
• Large language models can learn and generalize steganographic chain-of-thought under process supervision [5.173324198381261]
  CoT(Chain-of- Thought)推論は意思決定プロセスに関する洞察を提供する。 CoTモニタリングは、モデルをデプロイする際のリスクを軽減するために使用できる。 負荷を含む推論トレースにおける特定の文字列の使用をペナライズすることで、モデルが代替文字列の代わりになることを示す。
  論文  参考訳（メタデータ） (2025-06-02T17:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。