論文の概要: A hardware-safety-gated system for LLM-written native ARTIQ control code on a trapped-ion platform
- arxiv url: http://arxiv.org/abs/2606.27231v1
- Date: Thu, 25 Jun 2026 16:19:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.35455
- Title: A hardware-safety-gated system for LLM-written native ARTIQ control code on a trapped-ion platform
- Title（参考訳）: トラップイオンプラットフォーム上でのLCM記述ネイティブARTIQ制御のためのハードウェアセーフゲートシステム
- Abstract要約: 大言語モデル(LLM)エージェントは、実験的な制御コードを書き、実行することができる。
チェックされていないコードは装置を損傷させる可能性があり、人間の承認/監督とエージェントの判断の間に正式な操作ごとの境界は存在しない。
本稿では,LLMエージェントを,そのような境界を保ちながらトラップイオン実験のループに配置する制御システムを提案する。
- 参考スコア（独自算出の注目度）: 18.226528651110133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-language-model (LLM) agents can write and run experimental control code. This allows laboratory work to be conducted autonomously. However, this autonomy raises a safety problem that prior work has not addressed. Unchecked code can damage the apparatus, and there is no formal, per-operation boundary between human authorization/supervision, and agent decisions. We present a control system that places an LLM agent in the loop of a trapped-ion experiment while enforcing such a boundary. The agent controls the existing Advanced Real-Time Infrastructure for Quantum physics (ARTIQ) stack through tools provided by a Model Context Protocol (MCP) server. No tool call reaches the hardware unless it carries an authorization token bound to its exact contents. Tokens are issued in one of two ways: automatically, by running the agent's proposed script in an isolated hardware simulation (dax.sim) and checking every operation against preset per-device bounds, or manually by a human operator for sensitive actions. Within this boundary the agent develops its own experiments, rather than only calling pre-built routines. We deploy the system on a co-trapped $^{40}$Ca$^{+}$/$^{40}$CaOH$^{+}$ crystal, where the agent autonomously builds a full calibration stack and, with targeted operator guidance, closes a cross-instrument magnetic-field-stabilization loop. On a separate, independent $^{171}$Yb$^{+}$ platform, we confirm interface-level portability. We systematically test token-authorization mechanism with adversarial scripts that attempt to bypass it, mapping the precise boundary of its protection and prioritizing where to strengthen it next. Analyzing where the agent still requires human guidance, we find that its limits lie in metacognitive control, namely recognizing when a problem must be re-framed, rather than in domain knowledge.
- Abstract（参考訳）: 大言語モデル(LLM)エージェントは、実験的な制御コードを書き、実行することができる。
これにより、実験室の作業は自律的に行うことができる。
しかし、この自律性は、以前の作業が対応していない安全上の問題を引き起こす。
チェックされていないコードは装置を損傷させる可能性があり、人間の承認/監督とエージェントの判断の間に正式な操作ごとの境界は存在しない。
本稿では,LLMエージェントを,そのような境界を保ちながらトラップイオン実験のループに配置する制御システムを提案する。
エージェントは、モデルコンテキストプロトコル(MCP)サーバが提供するツールを通じて、既存のARTIQスタックを制御します。
ツールコールは、その正確な内容に縛られた認証トークンを持ち込まない限り、ハードウェアに到達しない。
トークンは2つの方法の1つとして発行される: エージェントの提案したスクリプトを独立したハードウェアシミュレーション(dax.sim)で自動的に実行し、プリセットされたデバイス毎のバウンダリに対してすべての操作をチェックするか、または人間の操作者が敏感なアクションを手動で行う。
この境界内では、エージェントは事前に構築されたルーチンのみを呼び出すのではなく、独自の実験を開発する。
我々は, エージェントが完全校正スタックを自律的に構築し, 目標とする演算子誘導により, クロスストルメント磁場安定化ループを閉じる, 共同トラッピングされた$^{40}$Ca$^{+}$/$^{40}$CaOH$^{+}$クリスタル上にシステムをデプロイする。
独立した$^{171}$Yb$^{+}$プラットフォームでは、インターフェースレベルのポータビリティを確認します。
我々は,トークン認証機構を,それを回避するための逆スクリプトで体系的にテストし,その保護の正確な境界をマッピングし,次にそれを強化する方法を優先順位付けする。
エージェントがまだ人間の指導を必要とする場所を分析すると、その限界はメタ認知制御(メタ認知制御)にあることが分かる。
関連論文リスト
- Claude Code Complete User Handbook [0.0]
Claude Codeは、未検証アクセス、シェル実行、ブラウザ制御、スケジュールおよびクラウド実行を備えたループで動作する言語モデルである。
この本は、そのシステムを安全かつ生産的に運用するためのタスク指向の参照である。
論文 参考訳（メタデータ） (2026-08-27T07:32:14Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - CyberLLM: A Multi-Agent LLM Framework for Autonomous Detection and Guarded Response in Automotive Cybersecurity [22.68559728326395]
CyberLLMは、脆弱性を自律的に検出し、正式なランタイム安全ガードの下で修正を実行するフレームワークである。
決定エージェントは発見を集約し、人間中心のアセット分類でタグ付けし、タイレッド応答を選択する。
対称攻撃パイプラインはエクスプロイトを生成し再生し、両方のサイドを同じシナリオで実行することができる。
論文 参考訳（メタデータ） (2026-08-06T23:39:13Z) - Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems [0.0]
我々は5つの実行装置とユーティリティゲートディスパッチとイベント駆動型フォールバックを組み合わせた離散時間制御システムを開発した。
単エージェントの場合、単調安定性、実行安全性、最終的な安定化、フォールバック完全性、およびギア制約されたマルコフ決定過程の等価性を証明する。
NIST emphDegradation Measurement of Robot Arm Position Accuracy dataset を用いて,3エージェントのUR5ロボット組立セル上での動作時間の評価を行った。
論文 参考訳（メタデータ） (2026-07-01T02:21:38Z) - A Systematic Approach to Multi-Agent AI from Advanced Regulatory Control Theory: Safe and Auditable LLM Operator Agents for Process Control [0.2864713389096699]
プロセス制御の原則の下でのマルチエージェントの改革は、これらの点に対処するための経路を提供する、という仮説を立てることが可能である。
本研究は、高度な規制制御(ARC)理論から導かれた、このような改革を提案する。
論文 参考訳（メタデータ） (2026-06-29T20:07:47Z) - The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems [0.0]
本稿では,AIシステムのアーキテクチャ制御を実現するRustリファレンス実装であるUnfireable Safety Kernelを紹介する。
我々は,生きた,回避可能なAIシステム,決定論的,自己改善的な世界モデルを管理するカーネルを,逃げ出す敵に対して評価する。
論文 参考訳（メタデータ） (2026-06-24T17:32:27Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - Will the Agent Recuse Itself? Measuring LLM-Agent Compliance with In-Band Access-Deny Signals [0.0]
本稿では,Recuse Signal という軽量な帯域内拒否信号を提案する。
プロトコルの既存のチャネルの上に出力され、接続自動化エージェントが自発的に撤退するよう要求する。
我々は,新鮮エージェントに良質な操作タスクを付与し,反感を伴って観察する制御実験を行った。
論文 参考訳（メタデータ） (2026-06-04T17:50:54Z) - The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - Governance-Aware Agent Telemetry for Closed-Loop Enforcement in Multi-Agent AI Systems [9.74681037042927]
OpenTelemetryとLangfuseはテレメトリを収集するが、ガバナンスはリアルタイムの執行対象ではなく、下流の分析上の問題として扱う。
本稿では、テレメトリ収集と自動政策執行のループを閉じる参照アーキテクチャであるガバナンス対応エージェントテレメトリ(ATGA)を提案する。
論文 参考訳（メタデータ） (2026-04-06T19:30:37Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳（メタデータ） (2025-10-10T15:12:44Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - AgentSight: System-Level Observability for AI Agents Using eBPF [10.37440633887049]
既存のツールは、エージェントの高レベルな意図(LSMプロンプトを介して)または低レベルな行動(例えば、システムコール)を観察するが、これら2つのビューを関連付けることはできない。
AgentOpsはハイブリッドアプローチを使用して,このセマンティックギャップをブリッジする,AgentOpsオブザーバビリティフレームワークです。
AgentSightはTLS暗号化されたLLMトラフィックをインターセプトしてセマンティックインテントを抽出し、カーネルイベントを監視してシステム全体の効果を観察し、これら2つのストリームをプロセス境界を越えて因果的に関連付ける。
論文 参考訳（メタデータ） (2025-08-02T01:43:39Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z) - CANTXSec: A Deterministic Intrusion Detection and Prevention System for CAN Bus Monitoring ECU Activations [53.036288487863786]
物理ECUアクティベーションに基づく最初の決定論的侵入検知・防止システムであるCANTXSecを提案する。
CANバスの古典的な攻撃を検知・防止し、文献では調査されていない高度な攻撃を検知する。
物理テストベッド上での解法の有効性を実証し,攻撃の両クラスにおいて100%検出精度を達成し,100%のFIAを防止した。
論文 参考訳（メタデータ） (2025-05-14T13:37:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。