論文の概要: Risk Architecture for AI-Native Engineering Teams: An Organizational Framework for Agentic System Governance
- arxiv url: http://arxiv.org/abs/2607.01421v1
- Date: Wed, 01 Jul 2026 19:31:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.579306
- Title: Risk Architecture for AI-Native Engineering Teams: An Organizational Framework for Agentic System Governance
- Title(参考訳): AI-Native Engineering Teamsのためのリスクアーキテクチャ:エージェントシステムガバナンスのための組織的フレームワーク
- Authors: Laxmipriya Ganesh Iyer,
- Abstract要約: 本稿では、純粋なソフトウェアエンジニアリング、ハイブリッド、AIネイティブチームを区別する7次元プロファイルを提供する。
研究の対象は人間の行動よりもフレームワークの妥当性にあるため、評価は観察されたカバレッジクレームよりも導出される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Engineering management research has produced mature frameworks for software risk: ownership by feature, escalation by severity, and assurance by test coverage. These frameworks implicitly assume deterministic behavior, discrete and auditable change events, and clear component-to-owner mappings. Teams that build and operate agentic AI systems violate all three assumptions at once: outputs are probabilistic, systems take autonomous multi-step actions, and the risk surface mutates silently between deployments. Existing AI risk literature addresses this from above (policy frameworks such as the NIST AI RMF and ISO/IEC 42001) or below (threat taxonomies such as OWASP's agentic AI guidance), but not at the layer where an engineering manager (EM) operates: roles, decision rights, and escalation structures. This paper contributes (i) a seven-dimension profile distinguishing pure software-engineering, hybrid, and AI-native teams; (ii) a six-cluster failure-mode taxonomy including a previously unarticulated cluster, dependency-boundary determinism mismatch; and (iii) a synthetic framework-adequacy methodology scoring how well each profile's risk architecture detects, contains, and escalates a defined scenario set. Because the object of study is framework adequacy rather than human behavior, the evaluation yields derived rather than observed coverage claims. Coverage degrades as teams move from pure software engineering to AI-native operation, monotonically in the median and abruptly in the count of uncovered, high-consequence failures appearing only at the AI-native step. The degradation concentrates in specific failure-mode categories, and the most severe, least-covered failures arise not inside AI-native teams but at the organizational boundary where their probabilistic outputs are consumed by determinism-assuming dependencies.
- Abstract(参考訳): エンジニアリングマネジメントの研究は、機能によるオーナシップ、重大さによるエスカレーション、テストカバレッジによる保証といった、ソフトウェアリスクのための成熟したフレームワークを生み出しました。
これらのフレームワークは、決定論的行動、離散的で監査可能な変更イベント、そして明確なコンポーネント間マッピングを暗黙的に仮定する。
エージェントAIシステムを構築し運用するチームは、アウトプットが確率的であり、システムは自律的なマルチステップアクションを取り、リスク表面はデプロイメント間で静かに変化する、という3つの前提に一度に違反する。
既存のAIリスク文献は、上記の問題(NIST AI RMFやISO/IEC 42001のような政治フレームワーク)やそれ以下の問題(OWASPのエージェントAIガイダンスのような細かな分類)に対処するが、エンジニアリングマネージャ(EM)が役割、決定権、エスカレーション構造を運用するレイヤには含まれない。
この論文は貢献します
i) 純粋なソフトウェアエンジニアリング、ハイブリッド、AIネイティブチームを区別する7次元プロファイル。
(二 前述しないクラスタ、依存境界決定性ミスマッチを含む六クラスタ失敗モード分類
3) 各プロファイルのリスクアーキテクチャが定義されたシナリオをどのように検出し、包含し、エスカレーションするかを評価するための総合的フレームワーク・アセスメント手法。
研究の対象は人間の行動よりもフレームワークの妥当性にあるため、評価は観察されたカバレッジクレームよりも導出される。
チームが純粋なソフトウェアエンジニアリングからAIネイティブな運用に移行するにつれて、カバーは低下する。
分解は特定の障害モードのカテゴリに集中し、最も深刻で、カバーの少ない障害はAIネイティブチームではなく、決定論的依存関係によって確率的アウトプットが消費される組織境界で発生します。
関連論文リスト
- Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳(メタデータ) (2026-05-28T02:12:41Z) - Position: Safety and Fairness in Agentic AI Depend on Interaction Topology, Not on Model Scale or Alignment [1.8124703841795666]
エージェントAIでは、安全性はモデルウェイトではなく相互作用トポロジーによって決定される。
より有能なモデルへのスケーリングは、コンセンサスの形成を増やすことでこれらの効果を強化する。
エージェントAIは、整列したコンポーネントの集合ではなく、動的システムとして扱われなければならない、と我々は主張する。
論文 参考訳(メタデータ) (2026-05-01T22:49:10Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - Agentic AI for Cybersecurity: A Meta-Cognitive Architecture for Governable Autonomy [0.0]
本稿では,サイバーセキュリティのオーケストレーションはエージェント型マルチエージェント認知システムとして再認識されるべきである,と論じる。
本稿では,特定・仮説形成・文脈解釈・説明・ガバナンスに責任を負う異種AIエージェントを,メタ認知判断機能を通じて協調する概念的枠組みを提案する。
我々の貢献は、メタ認知判断を第一級システム機能として組み込むことによって、この認知構造をアーキテクチャ的に明確化し、統制可能にすることである。
論文 参考訳(メタデータ) (2026-02-12T12:52:49Z) - Constructing Safety Cases for AI Systems: A Reusable Template Framework [10.44708664414503]
安全ケース、つまりシステムが確実に安全であるという構造化された議論は、AIシステムのガバナンスの中心になりつつある。
航空や原子力工学の伝統的な安全ケースのプラクティスは、明確に定義されたシステムの境界、安定したアーキテクチャ、既知の障害モードに依存している。
本研究では、AIシステムにおける安全ケースの構築方法と、古典的アプローチがこれらのダイナミクスを捉えることができない理由について検討する。
論文 参考訳(メタデータ) (2026-01-30T09:53:22Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳(メタデータ) (2026-01-21T15:22:21Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳(メタデータ) (2025-12-09T17:54:17Z) - The Role of Risk Modeling in Advanced AI Risk Management [33.357295564462284]
急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。
これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。
先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と私たちは主張する。
論文 参考訳(メタデータ) (2025-12-09T15:37:33Z) - A Survey on Autonomy-Induced Security Risks in Large Model-Based Agents [45.53643260046778]
大規模言語モデル(LLM)の最近の進歩は、自律型AIエージェントの台頭を触媒している。
これらの大きなモデルエージェントは、静的推論システムからインタラクティブなメモリ拡張エンティティへのパラダイムシフトを示す。
論文 参考訳(メタデータ) (2025-06-30T13:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。