論文の概要: Efficient Automatic Machine Learning via Design Graphs

• arxiv url: http://arxiv.org/abs/2210.12257v1
• Date: Fri, 21 Oct 2022 21:25:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:04:53.238447
• Title: Efficient Automatic Machine Learning via Design Graphs
• Title（参考訳）: デザイングラフによる効率的な自動機械学習
• Authors: Shirley Wu, Jiaxuan You, Jure Leskovec, Rex Ying
• Abstract要約: 最適なモデル設計を探索する効率的なサンプルベース手法であるFALCONを提案する。 FALCONは,1)グラフニューラルネットワーク(GNN)を介してデザイングラフ上でメッセージパッシングを行うタスク非依存モジュール,2)既知のモデル性能情報のラベル伝搬を行うタスク固有モジュールを特徴とする。 FALCONは,30個の探索ノードのみを用いて,各タスクに対して良好な性能を持つ設計を効率的に得ることを実証的に示す。
• 参考スコア（独自算出の注目度）: 72.85976749396745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of automated machine learning (AutoML), which aims to find the best design, including the architecture of deep networks and hyper-parameters, conventional AutoML methods are computationally expensive and hardly provide insights into the relations of different model design choices. To tackle the challenges, we propose FALCON, an efficient sample-based method to search for the optimal model design. Our key insight is to model the design space of possible model designs as a design graph, where the nodes represent design choices, and the edges denote design similarities. FALCON features 1) a task-agnostic module, which performs message passing on the design graph via a Graph Neural Network (GNN), and 2) a task-specific module, which conducts label propagation of the known model performance information on the design graph. Both modules are combined to predict the design performances in the design space, navigating the search direction. We conduct extensive experiments on 27 node and graph classification tasks from various application domains, and an image classification task on the CIFAR-10 dataset. We empirically show that FALCON can efficiently obtain the well-performing designs for each task using only 30 explored nodes. Specifically, FALCON has a comparable time cost with the one-shot approaches while achieving an average improvement of 3.3% compared with the best baselines.
• Abstract（参考訳）: ディープネットワークとハイパーパラメータのアーキテクチャを含む、最高の設計を見つけることを目的とした自動機械学習(AutoML)の成功にもかかわらず、従来のAutoMLメソッドは計算コストが高く、異なるモデル設計選択の関係についての洞察は得られない。 そこで本研究では,最適なモデル設計を探索する効率的なサンプルベース手法であるfalconを提案する。 我々の重要な洞察は、可能なモデル設計の設計空間を設計グラフとしてモデル化することであり、ノードは設計の選択を表し、エッジは設計の類似性を表す。 FALCONの特徴 1)グラフニューラルネットワーク(GNN)を介してデザイングラフ上でメッセージパッシングを行うタスク非依存モジュール。 2) 設計グラフ上の既知のモデル性能情報のラベル伝搬を行うタスク固有モジュール。 どちらのモジュールも組み合わせて設計空間における設計性能を予測し、探索方向をナビゲートする。 CIFAR-10データセット上で,各種アプリケーション領域の27ノードおよびグラフ分類タスクと画像分類タスクについて広範な実験を行った。 FALCONは,30個の探索ノードのみを用いて,各タスクの良好な性能設計を効率的に得ることを実証的に示す。 具体的には、FALCONはワンショットアプローチと同等の時間コストを持ち、最高のベースラインに比べて平均3.3%の改善を実現している。

関連論文リスト

• Towards Automated Model Design on Recommender Systems [21.421326082345136]
  重量共有を利用して豊富な解空間を探索する新しいパラダイムを導入する。 共同設計の観点からは,2倍FLOPs効率,1.8倍エネルギー効率,1.5倍の性能向上を実現している。
  論文  参考訳（メタデータ） (2024-11-12T06:03:47Z)
• Bridging Design Gaps: A Parametric Data Completion Approach With Graph Guided Diffusion Models [9.900586490845694]
  本研究では, グラフ注意ネットワークと表層拡散モデルを利用して, 工学設計におけるパラメトリックデータの欠落を解消する生成的計算モデルを提案する。 提案手法は従来の手法,例えばMissForest, HotDeck, PPCA, TabCSDI よりも精度と多様性に優れていた。 グラフモデルは、設計問題の鍵となるアセンブリグラフから複雑なパラメトリック相互依存性を正確にキャプチャし、インプットするのに役立つ。
  論文  参考訳（メタデータ） (2024-06-17T16:03:17Z)
• Rethinking Personalized Federated Learning with Clustering-based Dynamic Graph Propagation [48.08348593449897]
  本稿では,シンプルながら効果的に個人化できるフェデレーション学習フレームワークを提案する。 私たちは、クライアントをモデルトレーニングステータスとサーバ側のデータ分散に基づいて、複数のクラスタにグループ化します。 我々は3種類の画像ベンチマークデータセットの実験を行い、3種類のタイプで合成されたデータセットを作成する。
  論文  参考訳（メタデータ） (2024-01-29T04:14:02Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks [75.11008617118908]
  AutoML技術は、各タスクをスクラッチから独立して考慮し、高い計算コストをもたらす。 本稿では,従来の設計知識を新たな関心事に伝達することで,検索効率を向上させるAutoTransferを提案する。
  論文  参考訳（メタデータ） (2023-03-14T07:23:16Z)
• Unifying Flow, Stereo and Depth Estimation [121.54066319299261]
  本稿では3つの動作と3次元知覚タスクのための統一的な定式化とモデルを提案する。 これら3つのタスクを、統一された高密度対応マッチング問題として定式化する。 我々のモデルは、モデルアーキテクチャとパラメータがタスク間で共有されているため、自然にクロスタスク転送を可能にします。
  論文  参考訳（メタデータ） (2022-11-10T18:59:54Z)
• Material Prediction for Design Automation Using Graph Representation Learning [5.181429907321226]
  本稿では,集合体の物質予測を支援するグラフ表現学習フレームワークを提案する。 CADモデルの集合グラフ表現上でのノードレベルの予測タスクとして材料選択タスクを定式化し、グラフニューラルネットワーク(GNN)を用いてそれに取り組む。 提案するフレームワークは,大規模データセットにスケールアップし,デザイナの知識を学習プロセスに組み込む。
  論文  参考訳（メタデータ） (2022-09-26T15:49:35Z)
• PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm [24.294196319217907]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフベースのタスクで最先端のパフォーマンスを実現している。 しかし、GNNはデータサイズやメッセージパッシングステップに適していない。 本稿では,スケーラブルなGNNの設計空間を体系的に構築し,探索するための原則的アプローチを提供するPasCaを提案する。
  論文  参考訳（メタデータ） (2022-03-01T17:26:50Z)
• Cross-GCN: Enhancing Graph Convolutional Network with $k$-Order Feature Interactions [153.6357310444093]
  Graph Convolutional Network(GCN)は,グラフデータの学習と推論を行う新興技術である。 我々は、GCNの既存の設計がクロスフィーチャをモデリングし、クロスフィーチャが重要であるタスクやデータに対してGCNの効率を損なうことを論じている。 我々は、任意の次交叉特徴を、特徴次元と順序サイズに線形に複雑にモデル化した、クロスフィーチャーグラフ畳み込みという新しい演算子を設計する。
  論文  参考訳（メタデータ） (2020-03-05T13:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。