論文の概要: AI without networks
- arxiv url: http://arxiv.org/abs/2106.03354v3
- Date: Thu, 6 Jun 2024 02:50:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-08 01:27:18.087110
- Title: AI without networks
- Title（参考訳）: ネットワークのないAI
- Authors: Partha P Mitra, Clément Sire,
- Abstract要約: 我々は、生成モデリングを取り入れたAIのためのネットワークフリーフレームワークを開発する。
我々は、この枠組みを、民族学、制御理論、数学の3つの異なる分野の例で示す。
また、生成AIによる倫理的法的課題に対処するために、この枠組みに基づいて容易に計算された信用割当手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Contemporary Artificial Intelligence (AI) stands on two legs: large training data corpora and many-parameter artificial neural networks (ANNs). The data corpora are needed to represent the complexity and heterogeneity of the world. The role of the networks is less transparent due to the obscure dependence of the network parameters and outputs on the training data and inputs. This raises problems, ranging from technical-scientific to legal-ethical. We hypothesize that a transparent approach to machine learning is possible without using networks at all. By generalizing a parameter-free, statistically consistent data interpolation method, which we analyze theoretically in detail, we develop a network-free framework for AI incorporating generative modeling. We demonstrate this framework with examples from three different disciplines - ethology, control theory, and mathematics. Our generative Hilbert framework applied to the trajectories of small groups of swimming fish outperformed state-of-the-art traditional mathematical behavioral models and current ANN-based models. We demonstrate pure data interpolation based control by stabilizing an inverted pendulum and a driven logistic map around unstable fixed points. Finally, we present a mathematical application by predicting zeros of the Riemann Zeta function, achieving comparable performance as a transformer network. We do not suggest that the proposed framework will always outperform networks as over-parameterized networks can interpolate. However, our framework is theoretically sound, transparent, deterministic, and parameter free: remarkably, it does not require any compute-expensive training, does not involve optimization, has no model selection, and is easily reproduced and ported. We also propose an easily computed method of credit assignment based on this framework, to help address ethical-legal challenges raised by generative AI.
- Abstract（参考訳）: 現代人工知能(AI)は、大規模なトレーニングデータコーパスと多パラメータニューラルネットワーク(ANN)の2つの脚の上に立つ。
データコーパスは、世界の複雑さと不均一性を表現するために必要である。
ネットワークのパラメータや出力がトレーニングデータや入力に不明瞭なため、ネットワークの役割は透明ではない。
これは、技術的な科学から法的倫理まで、問題を引き起こす。
我々は、ネットワークを全く使わずに、機械学習への透過的なアプローチが可能であると仮定する。
パラメータフリーで統計的に一貫したデータ補間法を一般化し、理論的に詳細に解析することにより、生成モデリングを取り入れたAIのためのネットワークフリーなフレームワークを開発する。
我々は、この枠組みを、民族学、制御理論、数学の3つの異なる分野の例で示す。
我々の生成的Hilbertフレームワークは、従来の数学的行動モデルや現在のANNモデルよりも優れた性能を示した小集団の泳魚の軌道に応用した。
不安定な固定点周辺の逆振り子と駆動ロジスティックマップを安定化させることにより、純粋なデータ補間に基づく制御を実証する。
最後に、リーマンゼータ関数の零点を予測し、変圧器ネットワークとして同等の性能を達成する数学的応用を提案する。
オーバーパラメータネットワークが相互接続可能であるため,提案するフレームワークがネットワークを常に上回るとは考えていない。
しかし、我々のフレームワークは理論上、健全で透明で、決定論的で、パラメータフリーである:驚くべきことに、計算力の訓練は一切必要とせず、最適化を伴わず、モデル選択もせず、容易に再生、移植できる。
また、生成AIによる倫理的法的課題に対処するために、この枠組みに基づいて容易に計算された信用割当手法を提案する。
関連論文リスト
- pyhgf: A neural network library for predictive coding [0.2150989251218736]
texttpyhgfは、予測コーディングのための動的ネットワークの作成、操作、サンプリングのためのPythonパッケージである。
ネットワークコンポーネントを透過的でモジュール的で、拡張可能な変数としてメッセージパッシングステップに囲み込むことで、他のフレームワークよりも改善します。
コア変数の透明性は、自己組織化の原則を活用する推論プロセスにも変換できる。
論文 参考訳（メタデータ） (2024-10-11T19:21:38Z) - Automatic AI Model Selection for Wireless Systems: Online Learning via Digital Twinning [50.332027356848094]
AIベースのアプリケーションは、スケジューリングや電力制御などの機能を実行するために、インテリジェントコントローラにデプロイされる。
コンテキストとAIモデルのパラメータのマッピングは、ゼロショット方式で理想的に行われる。
本稿では,AMSマッピングのオンライン最適化のための一般的な手法を紹介する。
論文 参考訳（メタデータ） (2024-06-22T11:17:50Z) - GreenLightningAI: An Efficient AI System with Decoupled Structural and
Quantitative Knowledge [0.0]
強力な、人気のあるディープニューラルネットワークのトレーニングには、非常に高い経済的および環境的コストが伴う。
この作業は、GreenLightningAIを提案することによって、根本的に異なるアプローチを取る。
新しいAIシステムは、所定のサンプルに対してシステムサブセットを選択するために必要な情報を格納する。
我々は,AIシステムを新しいサンプルで再学習する際に,構造情報を無修正で保持できることを実験的に示す。
論文 参考訳（メタデータ） (2023-12-15T17:34:11Z) - A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics [41.99023989695363]
ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
論文 参考訳（メタデータ） (2022-02-18T09:35:51Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Modeling Item Response Theory with Stochastic Variational Inference [8.369065078321215]
項目応答理論(IRT)のための変分ベイズ推論アルゴリズムを提案する。
この手法を5つの大規模項目応答データセットに適用すると、欠落したデータを出力する際の高いログ可能性と高い精度が得られる。
アルゴリズムの実装はオープンソースであり、簡単に利用できる。
論文 参考訳（メタデータ） (2021-08-26T05:00:27Z) - Understanding Dynamics of Nonlinear Representation Learning and Its
Application [12.697842097171119]
暗黙的非線形表現学習のダイナミクスについて検討する。
我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。
我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
論文 参考訳（メタデータ） (2021-06-28T16:31:30Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。