論文の概要: Topos Theory for Generative AI and LLMs

• arxiv url: http://arxiv.org/abs/2508.08293v1
• Date: Tue, 05 Aug 2025 20:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.14627
• Title: Topos Theory for Generative AI and LLMs
• Title（参考訳）: 生成AIとLLMのためのトポス理論
• Authors: Sridhar Mahadevan,
• Abstract要約: トポス理論を用いた新しい分類型生成型AIアーキテクチャ(GAIA)の設計を提案する。 大規模言語モデル (LLM) のカテゴリは,集合のようなカテゴリーであるトポを形成することを示す。 LLMトポスアーキテクチャの実装の可能性を定義するために,バックプロパゲーションのファンクリアルな特徴付けを用いる。
• 参考スコア（独自算出の注目度）: 3.0316063849624477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose the design of novel categorical generative AI architectures (GAIAs) using topos theory, a type of category that is ``set-like": a topos has all (co)limits, is Cartesian closed, and has a subobject classifier. Previous theoretical results on the Transformer model have shown that it is a universal sequence-to-sequence function approximator, and dense in the space of all continuous functions with compact support on the Euclidean space of embeddings of tokens. Building on this theoretical result, we explore novel architectures for LLMs that exploit the property that the category of LLMs, viewed as functions, forms a topos. Previous studies of large language models (LLMs) have focused on daisy-chained linear architectures or mixture-of-experts. In this paper, we use universal constructions in category theory to construct novel LLM architectures based on new types of compositional structures. In particular, these new compositional structures are derived from universal properties of LLM categories, and include pullback, pushout, (co) equalizers, exponential objects, and subobject classifiers. We theoretically validate these new compositional structures by showing that the category of LLMs is (co)complete, meaning that all diagrams have solutions in the form of (co)limits. Building on this completeness result, we then show that the category of LLMs forms a topos, a ``set-like" category, which requires showing the existence of exponential objects as well as subobject classifiers. We use a functorial characterization of backpropagation to define a potential implementation of an LLM topos architecture.
• Abstract（参考訳）: トポス理論を用いた新規なカテゴリー生成型AIアーキテクチャ(GAIA)の設計を提案する。「集合的」なカテゴリーのタイプ: トポスは全(co)リミットを持ち、全(co)リミットを持ち、サブオブジェクトの分類器を持つ。トランスフォーマーモデルにおける以前の理論的結果は、それは普遍的なシーケンス対シーケンス関数近似器であり、トークンの埋め込みのユークリッド空間上でコンパクトなサポートを持つ全ての連続関数の空間の密集性を示す。この理論的結果に基づいて、LLMのカテゴリが機能として見なされる性質を生かした、LLMの新規アーキテクチャを探求する。大言語(LL)の先行研究は、ダイアシス的アーキテクチャ、または多元的アーキテクチャに焦点を合わせたもので、この理論では、LLMの階層構造は、LLMの全体構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造、構造などである。 LLMトポスアーキテクチャの実装の可能性を定義するために,バックプロパゲーションのファンクリアルな特徴付けを用いる。

関連論文リスト

• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Leveraging Taxonomy and LLMs for Improved Multimodal Hierarchical Classification [19.80724112056431]
  マルチモーダル分類のための分類組込み遷移LLM非依存フレームワークを提案する。 MEP-3Mデータセットを用いた評価では,従来のLCM構造と比較して,大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2025-01-12T14:43:06Z)
• Self-Attention as a Parametric Endofunctor: A Categorical Framework for Transformer Architectures [0.0]
  我々は,自己意識の線形成分に着目したカテゴリー理論フレームワークを開発した。 クエリ、キー、値マップは自然に2-圏 $mathbfPara(Vect)$ のパラメトリック 1-同型を定義することを示す。 複数の自己アテンション層を積み重ねると、このエンドファウンタ上の自由モナドが構築される。
  論文  参考訳（メタデータ） (2025-01-06T11:14:18Z)
• Searching for Efficient Linear Layers over a Continuous Space of Structured Matrices [88.33936714942996]
  アインシュタイン和を通じて表現可能なすべての線形作用素の探索を可能にする統一フレームワークを提案する。 計算-最適スケーリング法則の違いは主に少数の変数によって支配されていることを示す。 そこで,Mixture-of-Experts (MoE) は,注目ブロックの投影を含む,モデルのすべての線形層におけるMoEを学習する。
  論文  参考訳（メタデータ） (2024-10-03T00:44:50Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Categorical semantics of compositional reinforcement learning [18.406992961818368]
  我々は、強化学習(RL)の構成理論のための知識表現フレームワークを開発する。 我々のアプローチは、タスクのモデルとして働くマルコフ決定過程(MDP)を対象とする$mathsfMDP$の理論的研究に依存する。 圏 $mathsfMDP$ で表される構成保証に依存するジグザグ図形を導入する。
  論文  参考訳（メタデータ） (2022-08-29T15:51:36Z)
• SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
  完全に接続されたネットワークはユビキタスだが解釈不能である。 本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。 完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
  論文  参考訳（メタデータ） (2021-11-20T16:18:00Z)
• Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
  HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。 我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。 我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-10-18T17:56:02Z)
• Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
  潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。 本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
  論文  参考訳（メタデータ） (2021-08-16T11:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。