論文の概要: NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

• arxiv url: http://arxiv.org/abs/2507.08800v1
• Date: Fri, 11 Jul 2025 17:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.459233
• Title: NeuralOS: Towards Simulating Operating Systems via Neural Generative Models
• Title（参考訳）: NeuralOS: ニューラル生成モデルによるオペレーティングシステムのシミュレーションを目指して
• Authors: Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng,
• Abstract要約: 我々は,スクリーンフレームを直接予測することによって,オペレーティングシステムのユーザインターフェース(GUI)をシミュレートするニューラルネットワークフレームワークであるNeuralOSを紹介する。 NeuralOSは、コンピュータ状態を追跡するリカレントニューラルネットワーク(RNN)と、画面イメージを生成する拡散ベースのニューラルネットワークを結合する。 実験によると、NeuralOSは現実的なレンダリングに成功し、マウスのインタラクションを正確にキャプチャし、アプリケーションの起動のような状態遷移を確実に予測する。
• 参考スコア（独自算出の注目度）: 49.32972670096748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce NeuralOS, a neural framework that simulates graphical user interfaces (GUIs) of operating systems by directly predicting screen frames in response to user inputs such as mouse movements, clicks, and keyboard events. NeuralOS combines a recurrent neural network (RNN), which tracks computer state, with a diffusion-based neural renderer that generates screen images. The model is trained on a large-scale dataset of Ubuntu XFCE recordings, which include both randomly generated interactions and realistic interactions produced by AI agents. Experiments show that NeuralOS successfully renders realistic GUI sequences, accurately captures mouse interactions, and reliably predicts state transitions like application launches. Although modeling fine-grained keyboard interactions precisely remains challenging, NeuralOS offers a step toward creating fully adaptive, generative neural interfaces for future human-computer interaction systems.
• Abstract（参考訳）: マウスの動きやクリック,キーボードイベントといったユーザ入力に応じて,スクリーンフレームを直接予測することで,オペレーティングシステムのグラフィカルユーザインターフェース(GUI)をシミュレートするニューラルネットワークフレームワークであるNeuralOSを導入する。 NeuralOSは、コンピュータ状態を追跡するリカレントニューラルネットワーク(RNN)と、画面イメージを生成する拡散ベースのニューラルレンダラーを組み合わせる。 このモデルは、ランダムに生成されたインタラクションとAIエージェントによって生成された現実的なインタラクションの両方を含む、Ubuntu XFCEレコードの大規模なデータセットに基づいてトレーニングされている。 実験によると、NeuralOSは現実的なGUIシーケンスのレンダリングに成功し、マウスのインタラクションを正確にキャプチャし、アプリケーションの起動のような状態遷移を確実に予測する。 きめ細かいキーボードインタラクションのモデリングは依然として難しいが、NeuralOSは、将来の人間とコンピュータのインタラクションシステムのために、完全に適応的で生成的なニューラルインターフェースを作成するためのステップを提供する。

関連論文リスト

• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Adaptive Robotic Arm Control with a Spiking Recurrent Neural Network on a Digital Accelerator [41.60361484397962]
  本稿では,システムの概要と,Pynq ZUプラットフォーム上で使用するPythonフレームワークについて述べる。 シミュレーションされた精度は,毎秒380万イベントのピーク性能で維持されていることを示す。
  論文  参考訳（メタデータ） (2024-05-21T14:59:39Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• NeuralClothSim: Neural Deformation Fields Meet the Thin Shell Theory [70.10550467873499]
  薄型シェルを用いた新しい擬似布シミュレータであるNeuralClothSimを提案する。 メモリ効率の高い解法はニューラル変形場と呼ばれる新しい連続座標に基づく表面表現を演算する。
  論文  参考訳（メタデータ） (2023-08-24T17:59:54Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.08127062293111]
  Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。 GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
  論文  参考訳（メタデータ） (2021-10-19T18:07:07Z)
• Learning from Event Cameras with Sparse Spiking Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は現在、コンピュータビジョン問題のデファクトソリューションとなっている。 イベントカメラとスピーキングニューラルネットワーク(SNN)を用いたエンドツーエンドの生物学的インスパイアされたアプローチを提案する。 この手法は、一般的なディープラーニングフレームワークPyTorchを使用して、イベントデータに直接スパーススパイクニューラルネットワークのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-26T13:52:01Z)
• Draw your Neural Networks [0.0]
  このGUIベースのアプローチを用いて,ニューラルネットワークの設計と修正を行うSketchフレームワークを提案する。 このシステムは一般的なレイヤと操作を最初から提供し、サポート対象のトレーニング済みモデルをインポートできる。
  論文  参考訳（メタデータ） (2020-12-12T09:44:03Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Nengo and low-power AI hardware for robust, embedded neurorobotics [6.574517227976925]
  強靭で組込み型神経ロボティクスシステムを構築する上での4つの主要な課題を特定する。 我々は、Nengoを使用して、CPU、GPU、IntelのニューロモーフィックチップであるLoihi上で動作するニューラルネットワークを開発する2つの例を示す。
  論文  参考訳（メタデータ） (2020-07-20T16:17:27Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Self learning robot using real-time neural networks [7.347989843033033]
  本稿では,ロボットの腕に実装されたニューラルネットワークの研究,開発,実験的解析を行う。 ニューラルネットワークは、グラディエントDescentとバックプロパゲーションのアルゴリズムを用いて学習する。 ニューラルネットワークの実装とトレーニングは、Raspberry pi 3上のロボット上でローカルに行われ、学習プロセスは完全に独立している。
  論文  参考訳（メタデータ） (2020-01-06T13:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。