Fugu-MT 論文翻訳(概要): GAIA: Categorical Foundations of Generative AI

論文の概要: GAIA: Categorical Foundations of Generative AI

arxiv url: http://arxiv.org/abs/2402.18732v1
Date: Wed, 28 Feb 2024 22:25:02 GMT
ステータス: 処理完了
システム内更新日: 2024-03-01 16:41:32.277059
Title: GAIA: Categorical Foundations of Generative AI
Title（参考訳）: GAIA: ジェネレーティブAIのカテゴリ基盤
Authors: Sridhar Mahadevan
Abstract要約: GAIAはカテゴリー理論に基づく生成型AIアーキテクチャである。バックプロパゲーションはパラメータの圏上の終端因子としてモデル化される。
参考スコア（独自算出の注目度）: 3.0316063849624477
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose GAIA, a generative AI architecture based on category theory. GAIA is based on a hierarchical model where modules are organized as a simplicial complex. Each simplicial complex updates its internal parameters biased on information it receives from its superior simplices and in turn relays updates to its subordinate sub-simplices. Parameter updates are formulated in terms of lifting diagrams over simplicial sets, where inner and outer horn extensions correspond to different types of learning problems. Backpropagation is modeled as an endofunctor over the category of parameters, leading to a coalgebraic formulation of deep learning.
Abstract（参考訳）: 本稿では,カテゴリ理論に基づく生成型AIアーキテクチャであるGAIAを提案する。 GAIAはモジュールを単純な複合体として構成する階層モデルに基づいている。各simplicial complexは、内部パラメータを上位のsimpliceから受信した情報に基づいて更新し、従属のsub-simpliceに更新を中継する。パラメータ更新は、内角拡張と外角拡張が異なるタイプの学習問題に対応する、単純集合上の昇降ダイアグラムという観点から定式化される。バックプロパゲーションはパラメータのカテゴリのエンドファクターとしてモデル化され、ディープラーニングの合理化に繋がる。

関連論文リスト

HPT++: Hierarchically Prompting Vision-Language Models with Multi-Granularity Knowledge Generation and Improved Structure Modeling [39.14392943549792]
本稿では,階層型プロンプトチューニング(HPT)と呼ばれる新しい手法を提案し,構造化知識と従来の言語知識の同時モデリングを可能にする。低レベルの即時学習のためのエンティティと属性間のペアワイズ関連をキャプチャする、関係誘導型アテンションモジュールを導入する。全体意味論をモデル化する高レベルかつグローバルレベルのプロンプトを取り入れることで、提案された階層構造は、クロスレベルな相互リンクを偽造し、より複雑で長期的な関係を扱うようにモデルに権限を与える。
論文参考訳（メタデータ） (2024-08-27T06:50:28Z)
A Fixed-Point Approach for Causal Generative Modeling [20.88890689294816]
本稿では,構造因果モデル(Structure Causal Models, SCM)を因果順序付き変数の固定点問題として記述する新しい形式論を提案する。トポロジカル順序付け(TO)を考えると,その特異な回復のために最も弱い既知の条件を確立する。
論文参考訳（メタデータ） (2024-04-10T12:29:05Z)
Enhancing Representations through Heterogeneous Self-Supervised Learning [61.40674648939691]
本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-10-08T10:44:05Z)
DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文参考訳（メタデータ） (2023-01-23T15:18:54Z)
Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文参考訳（メタデータ） (2022-05-30T16:55:59Z)
On the Foundations of Grounding in Answer Set Programming [4.389457090443418]
We provide a comprehensive elaboration of the Theorys of variable instantiation or grounding, in Answer Set Programming (ASP)。固定点演算子の観点から基底アルゴリズムの形式的特徴付けを導入する。主要な役割は、関連するモデルがグラウンド化の結果を記述するための意味的なガイダンスを提供する、専門のしっかりとした演算子によって演じられる。
論文参考訳（メタデータ） (2021-08-10T16:23:49Z)
SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data [27.274328701618]
集合の階層的変分オートエンコーダであるSetVAEを提案する。セットエンコーディングの最近の進歩に動機づけられて、我々は最初にセットを分割し、元のカーディナリティにパーティションを投影する注意深いモジュールの上にSetVAEを構築します。我々は,本モデルが集合のサイズを示さずに一般化し,監督なしに興味深い部分集合関係を学習できることを実証する。
論文参考訳（メタデータ） (2021-03-29T14:01:18Z)
Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文参考訳（メタデータ） (2020-09-01T23:45:42Z)
Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文参考訳（メタデータ） (2020-05-06T01:51:30Z)
Hierarchical Conditional Relation Networks for Video Question Answering [62.1146543269993]
条件関係ネットワーク(CRN)と呼ばれる汎用再利用可能なニューラルネットワークユニットを導入する。 CRNは、ビデオ上での表現と推論のためのより洗練された構造を構築するためのビルディングブロックとして機能する。その結果,ビデオQAのような複雑なドメインに対する汎用推論ユニットの構築の影響が示された。
論文参考訳（メタデータ） (2020-02-25T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。