論文の概要: The UniNAS framework: combining modules in arbitrarily complex
configurations with argument trees
- arxiv url: http://arxiv.org/abs/2112.01796v1
- Date: Fri, 3 Dec 2021 09:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-06 22:18:01.477617
- Title: The UniNAS framework: combining modules in arbitrarily complex
configurations with argument trees
- Title（参考訳）: UniNASフレームワーク:任意の複雑な構成のモジュールと引数ツリーを組み合わせる
- Authors: Kevin Alexander Laube
- Abstract要約: 本稿では,様々なニューラルネットワーク探索手法を取り入れたUniNASの基盤となる概念について述べる。
設定ファイルは、どのモジュールが使用されるか、どのパラメータが使用されるか、どのモジュールがどのモジュールを順番に使用するかを指定する。
UniNASはhttps://github.com/cogsys-tuebingen/uninas.comで公開されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Designing code to be simplistic yet to offer choice is a tightrope walk.
Additional modules such as optimizers and data sets make a framework useful to
a broader audience, but the added complexity quickly becomes a problem.
Framework parameters may apply only to some modules but not others, be mutually
exclusive or depend on each other, often in unclear ways. Even so, many
frameworks are limited to a few specific use cases. This paper presents the
underlying concept of UniNAS, a framework designed to incorporate a variety of
Neural Architecture Search approaches. Since they differ in the number of
optimizers and networks, hyper-parameter optimization, network designs,
candidate operations, and more, a traditional approach can not solve the task.
Instead, every module defines its own hyper-parameters and a local tree
structure of module requirements. A configuration file specifies which modules
are used, their used parameters, and which other modules they use in turn This
concept of argument trees enables combining and reusing modules in complex
configurations while avoiding many problems mentioned above. Argument trees can
also be configured from a graphical user interface so that designing and
changing experiments becomes possible without writing a single line of code.
UniNAS is publicly available at https://github.com/cogsys-tuebingen/uninas
- Abstract（参考訳）: シンプルで選択の余地のないコードを設計するのは、綱渡りです。
オープティマイザやデータセットなどの追加モジュールは、より広範なオーディエンスにとって有用なフレームワークだが、複雑さがすぐに問題になる。
フレームワークのパラメータは、いくつかのモジュールにのみ適用されるが、他のモジュールには適用されない。
それでも、多くのフレームワークは特定のユースケースに限定されている。
本稿では,様々なニューラルアーキテクチャ探索手法を組み込んだフレームワークであるuninasの基盤概念を提案する。
最適化器とネットワークの数、ハイパーパラメータ最適化、ネットワーク設計、候補演算などが異なるため、従来のアプローチではその課題を解決できない。
代わりに、各モジュールは自身のハイパーパラメータとモジュール要求の局所木構造を定義する。
コンフィグレーションファイルは、どのモジュールが使われているか、それらのパラメータ、そして、彼らが使用する他のモジュールを特定する。 引数ツリーのこの概念は、上記の多くの問題を回避しながら、複雑な構成でモジュールを組み合わせ、再利用することができる。
Argument Treeはグラフィカルなユーザインターフェースから設定することもでき、単一のコードを書かずに実験の設計や変更ができるようになる。
UniNASはhttps://github.com/cogsys-tuebingen/uninasで公開されている。
関連論文リスト
- Design and Implementation of Hardware Accelerators for Neural Processing
Applications [0.0]
自己共振ネットワーク(ARN)を用いた画像認識システムが実装され、約94%の精度でARNの2層のみの精度を実現した。
ANNで見られる大規模な並列処理は、CPU設計にいくつかの課題を提示している。
マルチオペランド加算に必要なキャリービットの正確な数を計算する定理が論文で提示されている。
論文 参考訳（メタデータ） (2024-01-25T01:26:44Z) - ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。
以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:57Z) - DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。
本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。
本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文 参考訳（メタデータ） (2023-01-30T14:02:33Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - METGEN: A Module-Based Entailment Tree Generation Framework for Answer
Explanation [59.33241627273023]
複数のモジュールと推論コントローラを備えたモジュールベースのEntailment Tree GENフレームワークMETGENを提案する。
質問に対して、METGENは、別々のモジュールで単一ステップのエンタテインメントを実行し、コントローラで推論フローを選択することで、エンタテインメントツリーを反復的に生成することができる。
実験の結果,METGENは従来の最先端モデルよりも9%のパラメータで優れていた。
論文 参考訳（メタデータ） (2022-05-05T12:06:02Z) - aw_nas: A Modularized and Extensible NAS framework [17.516100955503113]
aw_nasはオープンソースのPythonフレームワークで、さまざまなニューラルネットワーク検索(NAS)アルゴリズムを実装している。
様々なタイプの主流NASアルゴリズムの結果を再現するために使用することができる。
論文 参考訳（メタデータ） (2020-11-25T13:01:19Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳（メタデータ） (2020-09-01T23:45:42Z) - On modularity in reactive control architectures, with an application to
formal verification [0.0]
決定構造と呼ぶグラフ構造制御アーキテクチャを提案する。
グラフ理論における加群の定義に触発され、決定構造における加群を定義する。
それぞれの決定構造がその加群への正準分解を持つことを示す。
論文 参考訳（メタデータ） (2020-08-28T07:25:38Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z) - Pruned Neural Networks are Surprisingly Modular [9.184659875364689]
多層パーセプトロンに対するモジュラリティの測定可能な概念を導入する。
小型画像のデータセットに基づいて学習したニューラルネットワークのモジュラ構造について検討する。
論文 参考訳（メタデータ） (2020-03-10T17:51:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。