論文の概要: ONNXPruner: ONNX-Based General Model Pruning Adapter

• arxiv url: http://arxiv.org/abs/2404.08016v1
• Date: Wed, 10 Apr 2024 18:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 16:54:09.351881
• Title: ONNXPruner: ONNX-Based General Model Pruning Adapter
• Title（参考訳）: ONNXPruner: ONNXベースの汎用モデルプルーニングアダプタ
• Authors: Dongdong Ren, Wenbin Li, Tianyu Ding, Lei Wang, Qi Fan, Jing Huo, Hongbing Pan, Yang Gao,
• Abstract要約: ONNXPrunerは、ONNXフォーマットモデル用に設計された汎用的なプルーニングアダプタである。 ONNXPrunerの新たな側面は、様々なモデルアーキテクチャに自動的に適応するノードアソシエーションツリーの利用である。 ノード関連木を利用することで、従来の単一ノード評価以上の包括的な分析が可能になる。
• 参考スコア（独自算出の注目度）: 26.12497385456006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in model pruning have focused on developing new algorithms and improving upon benchmarks. However, the practical application of these algorithms across various models and platforms remains a significant challenge. To address this challenge, we propose ONNXPruner, a versatile pruning adapter designed for the ONNX format models. ONNXPruner streamlines the adaptation process across diverse deep learning frameworks and hardware platforms. A novel aspect of ONNXPruner is its use of node association trees, which automatically adapt to various model architectures. These trees clarify the structural relationships between nodes, guiding the pruning process, particularly highlighting the impact on interconnected nodes. Furthermore, we introduce a tree-level evaluation method. By leveraging node association trees, this method allows for a comprehensive analysis beyond traditional single-node evaluations, enhancing pruning performance without the need for extra operations. Experiments across multiple models and datasets confirm ONNXPruner's strong adaptability and increased efficacy. Our work aims to advance the practical application of model pruning.
• Abstract（参考訳）: モデルプルーニングの最近の進歩は、新しいアルゴリズムの開発とベンチマークの改善に焦点を当てている。 しかし、これらのアルゴリズムを様々なモデルやプラットフォームに応用することは依然として大きな課題である。 この課題に対処するために,ONNXフォーマットモデル用に設計された汎用型プルーニングアダプタであるONNXPrunerを提案する。 ONNXPrunerは、さまざまなディープラーニングフレームワークとハードウェアプラットフォーム間で適応プロセスを合理化している。 ONNXPrunerの新たな側面は、様々なモデルアーキテクチャに自動的に適応するノードアソシエーションツリーの利用である。 これらの木はノード間の構造的関係を明確にし、特に相互接続ノードへの影響を強調している。 さらに,木レベル評価手法を提案する。 ノードアソシエーションツリーを利用することで、従来の単一ノード評価以上の包括的な分析を可能にし、余分な操作を必要とせずにプルーニング性能を向上させる。 複数のモデルとデータセットにわたる実験により、ONNXPrunerの強い適応性と有効性の向上が確認された。 本研究は, モデルプルーニングの実用化を推し進めることを目的としている。

関連論文リスト

• Cross Spline Net and a Unified World [41.69175843713757]
  クロススプラインネット(CSN)はスプライン変換とクロスネットワークの組み合わせに基づいている。 CSNは、上記の一連の非ニューラルネットワークモデルを同じニューラルネットワークフレームワークの下に配置する統合モデリングフレームワークを提供する。 CSNはパフォーマンスが高く、使いやすく、より複雑で、より解釈しやすく、堅牢であることを示します。
  論文  参考訳（メタデータ） (2024-10-24T20:45:48Z)
• Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks [3.912345988363511]
  本稿では、回帰課題の文脈において、木に基づくニューラルネットワークモデルの振る舞いを復号化するための取り組みを行う。 我々は,ツリーベースのCNN,Code2Vec,Transformerベースのメソッドといった確立されたモデルの応用を拡張し,ASTに解析することでソースコードの実行時間を予測する。 提案するデュアルトランスは,多様なデータセットにまたがる顕著な適応性とロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T11:47:14Z)
• Reinforcement Learning for Node Selection in Branch-and-Bound [52.2648997215667]
  現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。 孤立ノードではなく木の状態全体を考慮しながら強化学習(RL)を用いる新しいシミュレーション手法を提案する。
  論文  参考訳（メタデータ） (2023-09-29T19:55:56Z)
• Collaborative Graph Neural Networks for Attributed Network Embedding [63.39495932900291]
  グラフニューラルネットワーク(GNN)は、属性付きネットワーク埋め込みにおいて顕著な性能を示している。 本稿では,ネットワーク埋め込みに適したGNNアーキテクチャであるCulaborative graph Neural Networks-CONNを提案する。
  論文  参考訳（メタデータ） (2023-07-22T04:52:27Z)
• Robust Knowledge Adaptation for Dynamic Graph Neural Networks [61.8505228728726]
  動的グラフニューラルネットワークのための強化学習による堅牢な知識適応フレームワークであるAda-DyGNNを提案する。 我々のアプローチは、強化学習による堅牢な知識適応を探求する最初の試みである。 3つのベンチマークデータセットの実験は、Ada-DyGNNが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2022-07-22T02:06:53Z)
• Deep Neural Networks pruning via the Structured Perspective Regularization [5.061851539114448]
  機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。 ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。 問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T14:58:51Z)
• Neural Structured Prediction for Inductive Node Classification [29.908759584092167]
  本稿では,ラベル付き学習グラフのモデルを学習し,未ラベルの試験グラフ上でノードラベルを推論するために一般化することを目的とした,帰納的環境におけるノード分類について検討する。 本稿では,両者の利点を組み合わせたSPN(Structured Proxy Network)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-15T15:50:27Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• A Self-Attention Network based Node Embedding Model [17.10479440152652]
  新規な教師なし埋め込みモデルであるSANNEを提案する。 我々のSANNEは、現在のノードだけでなく、新しく見つからないノードにも、プラルーシブルな埋め込みを生成することを目的としています。 実験の結果,提案したSANNEはノード分類タスクの最先端結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-22T09:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。