論文の概要: LifeGPT: Topology-Agnostic Generative Pretrained Transformer Model for Cellular Automata
- arxiv url: http://arxiv.org/abs/2409.12182v1
- Date: Tue, 3 Sep 2024 11:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-22 21:12:27.954529
- Title: LifeGPT: Topology-Agnostic Generative Pretrained Transformer Model for Cellular Automata
- Title（参考訳）: LifeGPT:Topology-Agnostic Generative Pretrained Transformer Model for Cellular Automata
- Authors: Jaime A. Berkovich, Markus J. Buehler,
- Abstract要約: この問題を解決するために,デコーダのみを用いた事前学習型トランスモデルを開発した。
本モデルでは, トロイダル格子上のライフを, グリッドの大きさや周期的境界条件に関する事前知識なくシミュレート可能であることを示す。
この結果は,大規模言語モデルにおける真の普遍計算への道筋をたどるものである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Game of Life (Life), a well known algorithm within the broader class of cellular automata (CA), exhibits complex emergent dynamics, with extreme sensitivity to initial conditions. Modeling and predicting such intricate behavior without explicit knowledge of the system's underlying topology presents a significant challenge, motivating the development of algorithms that can generalize across various grid configurations and boundary conditions. We develop a decoder-only generative pretrained transformer model to solve this problem, showing that our model can simulate Life on a toroidal grid with no prior knowledge on the size of the grid, or its periodic boundary conditions (LifeGPT). LifeGPT is topology-agnostic with respect to its training data and our results show that a GPT model is capable of capturing the deterministic rules of a Turing-complete system with near-perfect accuracy, given sufficiently diverse training data. We also introduce the idea of an `autoregressive autoregressor' to recursively implement Life using LifeGPT. Our results pave the path towards true universal computation within a large language model (LLM) framework, synthesizing of mathematical analysis with natural language processing, and probing AI systems for situational awareness about the evolution of such algorithms without ever having to compute them. Similar GPTs could potentially solve inverse problems in multicellular self-assembly by extracting CA-compatible rulesets from real-world biological systems to create new predictive models, which would have significant consequences for the fields of bioinspired materials, tissue engineering, and architected materials design.
- Abstract（参考訳）: 生命のゲーム(人生のゲーム)は、細胞オートマトン(CA)のより広範なクラスにおいてよく知られたアルゴリズムであり、初期状態に非常に敏感な複雑な創発的ダイナミクスを示す。
このような複雑な振る舞いをシステムの基盤となるトポロジの明確な知識なしにモデル化し予測することは、様々なグリッド構成や境界条件をまたいで一般化できるアルゴリズムの開発を動機付ける重要な課題となる。
この問題を解決するために,デコーダのみを用いた事前学習型トランスモデルを構築し,グリッドの大きさや周期境界条件(LifeGPT)について事前知識のないトロイダルグリッド上でのライフをシミュレートできることを示した。
LifeGPTはトレーニングデータに対してトポロジに非依存であり,本研究の結果から,GPTモデルがチューリング完全系の決定論的ルールを十分多種多様なトレーニングデータからほぼ完全精度で把握できることが示唆された。
また,LifeGPTを用いてライフを再帰的に実装する「自己回帰型自己回帰器」のアイデアも紹介する。
この結果から,大規模言語モデル(LLM)フレームワーク内での真の普遍計算への道のり,自然言語処理による数学的解析の合成,そしてそのようなアルゴリズムの進化に対する状況認識のためのAIシステムを提案する。
同様のGPTは、実際の生物学的システムからCA互換のルールセットを抽出して新しい予測モデルを作成することで、多細胞自己集合における逆問題を解決する可能性がある。
関連論文リスト
- Learning Linear Attention in Polynomial Time [115.68795790532289]
線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。
線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。
我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
論文 参考訳（メタデータ） (2024-10-14T02:41:01Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳（メタデータ） (2023-10-04T07:14:43Z) - From system models to class models: An in-context learning paradigm [0.0]
本稿では,1段階の予測と複数段階のシミュレーションという2つの主要な課題に対処する,システム識別のための新しいパラダイムを提案する。
動的システムのクラスを表すメタモデルを学ぶ。
一段階の予測では、GPTのようなデコーダのみのアーキテクチャを使用し、シミュレーション問題ではエンコーダ-デコーダ構造を用いる。
論文 参考訳（メタデータ） (2023-08-25T13:50:17Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - Transformer-based Planning for Symbolic Regression [18.90700817248397]
シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。
従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。
我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
論文 参考訳（メタデータ） (2023-03-13T03:29:58Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳（メタデータ） (2022-09-15T07:22:58Z) - Surrogate Modeling for Physical Systems with Preserved Properties and
Adjustable Tradeoffs [0.0]
代理モデルを生成するためのモデルベースおよびデータ駆動型戦略を提案する。
後者は、前提となる位相構造に人工的関係を組み込むことで解釈可能な代理モデルを生成する。
我々のフレームワークは、分散パラメータモデルのための様々な空間離散化スキームと互換性がある。
論文 参考訳（メタデータ） (2022-02-02T17:07:02Z) - Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。
ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。
本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
論文 参考訳（メタデータ） (2021-10-27T04:27:28Z) - SymbolicGPT: A Generative Transformer Model for Symbolic Regression [3.685455441300801]
シンボル回帰のための新しいトランスフォーマーベース言語モデルであるSybolicGPTを提案する。
本モデルでは,精度,実行時間,データ効率に関して,競合モデルと比較して高い性能を示す。
論文 参考訳（メタデータ） (2021-06-27T03:26:35Z) - Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。
本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。
本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
論文 参考訳（メタデータ） (2020-11-09T02:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。