論文の概要: LUMOS: A Semantic Operating-System Layer for Accessibility-Grounded AI Agents
- arxiv url: http://arxiv.org/abs/2606.30697v1
- Date: Mon, 29 Jun 2026 03:19:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:18.955014
- Title: LUMOS: A Semantic Operating-System Layer for Accessibility-Grounded AI Agents
- Title（参考訳）: LUMOS: アクセシビリティを対象とするAIエージェントのためのセマンティックオペレーティングシステムレイヤ
- Abstract要約: 現在のオペレーティングシステムは、AIエージェントではなく、人間のユーザ向けに最適化されたインターフェースを公開している。
本稿では,AIエージェントとオペレーティングシステム間のセマンティックインタラクション層であるLUMOSを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current operating systems expose interfaces optimized for human users but not for AI agents. Humans benefit from pixels, icons, windows, visual grouping, mouse movement, and keyboard shortcuts; AI agents instead need compact semantic state, grounded actions, and reliable feedback. As a result, many computer-use agents are forced to interpret screenshots, OCR output, and visual crops, introducing high token costs, visual ambiguity, latency, and coordinate uncertainty. This paper introduces LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), a semantic interaction layer between AI agents and operating systems. LUMOS converts native accessibility metadata and browser UI structures into machine readable semantic blueprints with stable identifiers, roles, names, values, bounds, and action affordances. It also supports live semantic pointer grounding by querying the UI element under or near the cursor through operating-system automation APIs. An LLM then acts through an accessibility grounded observe act loop using constrained visible-UI primitives rather than application-specific scripts. LUMOS does not claim to replace visual agents; instead, it reduces dependence on screenshots when operating systems already provide semantic structure. These results suggest a path toward AI-native operating systems and machine-readable interaction layers.
- Abstract（参考訳）: 現在のオペレーティングシステムは、AIエージェントではなく、人間のユーザ向けに最適化されたインターフェースを公開している。
人間はピクセル、アイコン、ウィンドウ、視覚的なグループ化、マウスの動き、キーボードショートカットの恩恵を受ける。
その結果、多くのコンピュータ利用エージェントは、スクリーンショット、OCR出力、視覚的作物を解釈し、高いトークンコスト、視覚的曖昧性、レイテンシ、不確実性を導入せざるを得なくなった。
本稿では,LUMOS(Language Model Unified Machine-Readable Operating-System Semantics)を紹介する。
LUMOSは、ネイティブアクセシビリティメタデータとブラウザUI構造を、安定した識別子、役割、名前、値、バウンダリ、アクションアプライアンスを備えた、マシン可読なセマンティックブループリントに変換する。
また、オペレーティングシステム自動化APIを通じてカーソル内または近くのUI要素をクエリすることで、ライブセマンティックポインターグラウンドをサポートする。
LLMは、アプリケーション固有のスクリプトではなく、制約付きの可視UIプリミティブを使用して、アクセシビリティ基底化されたオブザーバアクトループを介して動作する。
LUMOSは視覚エージェントを置き換えるのではなく、オペレーティングシステムがすでにセマンティック構造を提供しているときのスクリーンショットへの依存を減らす。
これらの結果は、AIネイティブなオペレーティングシステムとマシン可読なインタラクション層への道のりを示唆している。
関連論文リスト
- Show-Harness: Just a VLM Agent Can Play Robots [53.80887083886227]
身体的視覚言語モデル(VLM)は世界に関する幅広い知性を示すが、この知性をロボット制御に翻訳することは依然として困難である。
本稿では,動作意図をリンクするコンパクトなセマンティックインターフェースを通じて,VLMがロボットを「プレイ」することを可能にする,身体的ハーネスであるShow-Harnessを紹介する。
GUMIはGUIベースのデモコレクションに同じセマンティックアクション空間を拡張し、人間やエージェントが特殊な遠隔操作ハードウェアを使わずにエボディメントをまたいでロボットを「プレイ」することができる。
論文 参考訳（メタデータ） (2026-09-09T17:53:38Z) - Explaining AI Agents Through Execution Traces [1.8862116040247214]
本稿では,長期エージェントの実行トレースを構造化されたレポートと忠実な自然言語説明に変換するポストホックXAIフレームワークを提案する。
実行トレースにのみ依存するため、フレームワークはさまざまなエージェントアーキテクチャ、環境、タスクに適用される。
論文 参考訳（メタデータ） (2026-09-05T12:45:56Z) - Agentic Artificial Intelligence (AI): Architectures, Taxonomies, and Evaluation of Large Language Model Agents [14.448267395835721]
エージェントを知覚,脳,計画,行動,ツール利用,コラボレーションに分割する統合分類法を提案する。
また、デジタルオペレーティングシステム、エンボディロボット、その他の特殊なドメインを含む、これらのエージェントが動作する環境もグループ化します。
論文 参考訳（メタデータ） (2026-01-18T19:51:16Z) - ShowUI-Aloha: Human-Taught GUI Agent [46.35538753446132]
ShowUI-Alohaは、非構造化され、その内部の人間のスクリーン記録を構造化され、実行可能なタスクに変換する。
学習者はこれらの生の相互作用と周囲の視覚的文脈を意味論的に解釈し、それらを記述的な自然言語キャプションに翻訳する。
解析されたデモを読み、タスク状態を維持し、次のハイレベルアクションプランを動的に定式化するプランナー。
論文 参考訳（メタデータ） (2026-01-12T04:04:20Z) - MIP against Agent: Malicious Image Patches Hijacking Multimodal OS Agents [60.92962583528122]
オペレーティングシステム(OS)エージェントの最近の進歩により、視覚言語モデル(VLM)がユーザのコンピュータを直接制御できるようになった。
これらのOSエージェントに対する新たなアタックベクターを発見した:MIP(Malicious Image Patches)
MIPは、OSエージェントにキャプチャされたとき、特定のAPIを活用することで有害なアクションを誘導する画面領域を逆向きに乱した。
論文 参考訳（メタデータ） (2025-03-13T18:59:12Z) - TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [55.03911355902567]
我々は、デジタルワーカーと同じような方法で世界と対話するAIエージェントを評価するためのベンチマークであるTheAgentCompanyを紹介する。
最も競争力のあるエージェントは、タスクの30%を自律的に完了させることができる。
これは、実際の職場の設定でLMエージェントをシミュレートすることで、タスク自動化に関する微妙な絵を描く。
論文 参考訳（メタデータ） (2024-12-18T18:55:40Z) - ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning [74.58666091522198]
非専門家による直感的なロボットプログラミングのためのフレームワークを提案する。
ロボットオペレーティングシステム(ROS)からの自然言語のプロンプトと文脈情報を活用する
我々のシステムは,大規模言語モデル (LLM) を統合し,非専門家がチャットインタフェースを通じてシステムにタスク要求を記述できるようにする。
論文 参考訳（メタデータ） (2024-06-28T08:28:38Z) - CAAP: Context-Aware Action Planning Prompting to Solve Computer Tasks with Front-End UI Only [21.054681757006385]
本稿では,スクリーンショット画像のみを通して環境を知覚するエージェントを提案する。
大規模言語モデルの推論能力を活用することで,大規模人間の実演データの必要性を解消する。
AgentはMiniWoB++の平均成功率は94.5%、WebShopの平均タスクスコアは62.3である。
論文 参考訳（メタデータ） (2024-06-11T05:21:20Z) - CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。
AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-19T08:29:03Z) - Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。
我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
論文 参考訳（メタデータ） (2024-01-07T19:11:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。