論文の概要: Beyond Model Base Selection: Weaving Knowledge to Master Fine-grained Neural Network Design
- arxiv url: http://arxiv.org/abs/2507.15336v1
- Date: Mon, 21 Jul 2025 07:49:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.304042
- Title: Beyond Model Base Selection: Weaving Knowledge to Master Fine-grained Neural Network Design
- Title(参考訳): モデルベース選択を超えて: きめ細かいニューラルネットワーク設計を習得するための知識を織り込む
- Authors: Jialiang Wang, Hanmo Liu, Shimin Di, Zhili Wang, Jiachuan Wang, Lei Chen, Xiaofang Zhou,
- Abstract要約: M-DESIGN(M-DESIGN)は、ニューラルネットワークの洗練を習得するためのモデル知識ベース(MKB)パイプラインである。
まず,タスクメタデータに対する適応的なクエリ問題としてモデル修正を再構成する知識織りエンジンを提案する。
ユーザのタスククエリが与えられた場合、M-DESIGNは、グラフ関係の知識スキーマを利用して、候補モデルをすばやくマッチングし、反復的に洗練する。
- 参考スコア(独自算出の注目度): 20.31388126105889
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Database systems have recently advocated for embedding machine learning (ML) capabilities, offering declarative model queries over large, managed model repositories, thereby circumventing the huge computational overhead of traditional ML-based algorithms in automated neural network model selection. Pioneering database studies aim to organize existing benchmark repositories as model bases (MB), querying them for the model records with the highest performance estimation metrics for given tasks. However, this static model selection practice overlooks the fine-grained, evolving relational dependencies between diverse task queries and model architecture variations, resulting in suboptimal matches and failing to further refine the model effectively. To fill the model refinement gap in database research, we propose M-DESIGN, a curated model knowledge base (MKB) pipeline for mastering neural network refinement by adaptively weaving prior insights about model architecture modification. First, we propose a knowledge weaving engine that reframes model refinement as an adaptive query problem over task metadata. Given a user's task query, M-DESIGN quickly matches and iteratively refines candidate models by leveraging a graph-relational knowledge schema that explicitly encodes data properties, architecture variations, and pairwise performance deltas as joinable relations. This schema supports fine-grained relational analytics over architecture tweaks and drives a predictive query planner that can detect and adapt to out-of-distribution (OOD) tasks. We instantiate M-DESIGN for graph analytics tasks, where our model knowledge base enriches existing benchmarks with structured metadata covering 3 graph tasks and 22 graph datasets, contributing data records of 67,760 graph models. Empirical results demonstrate that M-DESIGN delivers the optimal model in 26 of 33 data-task pairs within limited budgets.
- Abstract(参考訳): データベースシステムは先頃、大規模なマネージドモデルリポジトリに宣言型モデルクエリを提供することで、ニューラルネットワークモデルの自動選択における従来のMLベースのアルゴリズムの膨大な計算オーバーヘッドを回避する、機械学習(ML)機能の組み込みを提唱した。
ピアネリングデータベースの研究は、既存のベンチマークリポジトリをモデルベース(MB)として整理し、与えられたタスクに対して最高のパフォーマンス推定指標でモデルレコードをクエリすることを目的としている。
しかし、この静的モデル選択のプラクティスは、多様なタスククエリとモデルアーキテクチャのバリエーションの間の、きめ細やかな、進化する関係性を見落としており、結果として、サブ最適マッチングが発生し、モデルをより効率的に洗練することができない。
データベース研究におけるモデルリファインメントギャップを埋めるために、モデルアーキテクチャ修正に関する事前の洞察を適応的に織り込むことにより、ニューラルネットワークリファインメントを習得するためのモデルナレッジベース(MKB)パイプラインであるM-DESIGNを提案する。
まず,タスクメタデータに対する適応的なクエリ問題としてモデル修正を再構成する知識織りエンジンを提案する。
ユーザのタスククエリが与えられた場合、M-DESIGNは、データプロパティ、アーキテクチャのバリエーション、およびペアのパフォーマンスデルタを結合可能な関係として明示的にエンコードするグラフ関連知識スキーマを活用することで、候補モデルをすばやくマッチングし、反復的に洗練する。
このスキーマはアーキテクチャの微調整よりも詳細なリレーショナル分析をサポートし、予測クエリプランナを駆動し、アウト・オブ・ディストリビューション(OOD)タスクを検出し、適応することができる。
グラフ解析タスクにM-DESIGNをインスタンス化し,3つのグラフタスクと22のグラフデータセットを含む構造化メタデータで既存のベンチマークを強化し,67,760のグラフモデルのデータ記録をコントリビュートする。
実験の結果、M-DESIGNは限られた予算内で33組のデータタスクペアのうち26組で最適なモデルを提供することが示された。
関連論文リスト
- Relational Deep Learning: Challenges, Foundations and Next-Generation Architectures [50.46688111973999]
グラフ機械学習は、任意のグラフ構造化データで学習するモデルの能力を大幅に向上させた。
従来の工学的特徴を伴わない'関係エンティティグラフ'のエンドツーエンド表現を可能にする新しい青写真を提案する。
本稿では、大規模マルチテーブル統合や、時間力学と異種データのモデリングの複雑さなど、重要な課題について論じる。
論文 参考訳(メタデータ) (2025-06-19T23:51:38Z) - RDB2G-Bench: A Comprehensive Benchmark for Automatic Graph Modeling of Relational Databases [23.836665904554426]
RDB-to-graphモデリングは、クロステーブルな依存関係をキャプチャするのに役立つ。
グラフモデリングに共通のルールを適用すると、最高のグラフモデルと比較して10%パフォーマンスが低下します。
我々は,そのような手法を評価するための最初のベンチマークフレームワークであるRDB2Gを紹介する。
論文 参考訳(メタデータ) (2025-06-02T06:34:10Z) - SchemaAgent: A Multi-Agents Framework for Generating Relational Database Schema [35.57815867567431]
既存の取り組みは主に、カスタマイズされたルールや従来のディープラーニングモデルに基づいており、しばしばリレーショナルスキーマを生成する。
高品質データベーススキーマの自動生成のための統一LLMベースのマルチエージェントフレームワークを提案する。
我々は、様々な段階にわたる問題の正当性を特定するために、リフレクションとインスペクションのための専用の役割と、革新的なエラー検出と修正機構を組み込んだ。
論文 参考訳(メタデータ) (2025-03-31T09:39:19Z) - Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。
Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。
実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
論文 参考訳(メタデータ) (2024-10-31T16:34:03Z) - Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists [41.94295877935867]
データサイエンスにおける最も知識集約的な課題の1つに取り組むために設計された,大規模言語モデルのベンチマークを示す。
提案手法のFeatEngは,LLMの幅広い能力を安価かつ効率的に評価できることを実証する。
論文 参考訳(メタデータ) (2024-10-30T17:59:01Z) - RelBench: A Benchmark for Deep Learning on Relational Databases [78.52438155603781]
本稿では,グラフニューラルネットワークを用いたデータベース上でタスクを解くための公開ベンチマークであるRelBenchを紹介する。
私たちはRelBenchを使って、ディープラーニングインフラストラクチャに関する初の総合的な研究を行っています。
RDLは、人間の作業量を1桁以上削減しながら、より良く学習する。
論文 参考訳(メタデータ) (2024-07-29T14:46:13Z) - A Novel Technique for Query Plan Representation Based on Graph Neural Nets [2.184775414778289]
本研究では,異なる木モデルを用いたアグリゲードのコスト推定と計画選択性能への影響について検討する。
本稿では, Gated Recurrent Unit (GRU) によるGNNを用いたツリーモデルBiGGを提案する。
論文 参考訳(メタデータ) (2024-05-08T04:59:59Z) - AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph
Neural Networks [75.11008617118908]
AutoML技術は、各タスクをスクラッチから独立して考慮し、高い計算コストをもたらす。
本稿では,従来の設計知識を新たな関心事に伝達することで,検索効率を向上させるAutoTransferを提案する。
論文 参考訳(メタデータ) (2023-03-14T07:23:16Z) - When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data [84.87772675171412]
個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。
e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
論文 参考訳(メタデータ) (2021-02-03T18:57:08Z) - AutoRC: Improving BERT Based Relation Classification Models via
Architecture Search [50.349407334562045]
BERTに基づく関係分類(RC)モデルは、従来のディープラーニングモデルよりも大幅に改善されている。
最適なアーキテクチャとは何かという合意は得られない。
BERTをベースとしたRCモデルのための包括的検索空間を設計し、設計選択を自動的に検出するためにNAS(Neural Architecture Search)手法を用いる。
論文 参考訳(メタデータ) (2020-09-22T16:55:49Z) - NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural
Architecture Search [9.634626241415916]
リンク予測は、知識グラフ(KG)におけるエンティティ間の欠落した接続を予測するタスクである
これまでの研究では、Automated Machine Learning(AutoML)を使用して、データセットに最適なモデルを探していた。
リンク予測タスクのための新しいニューラルネットワーク探索(NAS)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-18T03:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。