論文の概要: SPILDL: A Scalable and Parallel Inductive Learner in Description Logic

• arxiv url: http://arxiv.org/abs/2412.00830v1
• Date: Sun, 01 Dec 2024 14:33:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:47.501350
• Title: SPILDL: A Scalable and Parallel Inductive Learner in Description Logic
• Title（参考訳）: SPILDL: 記述論理におけるスケーラブルで並列な帰納的学習
• Authors: Eyad Algahtani,
• Abstract要約: SPILDL は DL-Learner (DL を用いた ILP 学習の最先端) に基づいている DLベースのILP学習者として、SPILDLは$mathcalALCQImathcal(D)$ DL言語をターゲットにしており、結合の解離として表現されたDL仮説を学習することができる。 SPILDLは、共有メモリと分散メモリの両方のアプローチを組み合わせたハイブリッド並列アプローチを採用している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present SPILDL, a Scalable and Parallel Inductive Learner in Description Logic (DL). SPILDL is based on the DL-Learner (the state of the art in DL-based ILP learning). As a DL-based ILP learner, SPILDL targets the $\mathcal{ALCQI}^{\mathcal{(D)}}$ DL language, and can learn DL hypotheses expressed as disjunctions of conjunctions (using the $\sqcup$ operator). Moreover, SPILDL's hypothesis language also incorporates the use of string concrete roles (also known as string data properties in the Web Ontology Language, OWL); As a result, this incorporation of powerful DL constructs, enables SPILDL to learn powerful DL-based hypotheses for describing many real-world complex concepts. SPILDL employs a hybrid parallel approach which combines both shared-memory and distributed-memory approaches, to accelerates ILP learning (for both hypothesis search and evaluation). According to experimental results, SPILDL's parallel search improved performance by up to $\sim$27.3 folds (best case). For hypothesis evaluation, SPILDL improved evaluation performance through HT-HEDL (our multi-core CPU + multi-GPU hypothesis evaluation engine), by up to 38 folds (best case). By combining both parallel search and evaluation, SPILDL improved performance by up to $\sim$560 folds (best case). In terms of worst case scenario, SPILDL's parallel search doesn't provide consistent speedups on all datasets, and is highly dependent on the search space nature of the ILP dataset. For some datasets, increasing the number of parallel search threads result in reduced performance, similar or worse than baseline. Some ILP datasets benefit from parallel search, while others don't (or the performance gains are negligible). In terms of parallel evaluation, on small datasets, parallel evaluation provide similar or worse performance than baseline.
• Abstract（参考訳）: 本稿では,説明論理(DL)におけるスケーラブルで並列な帰納的学習者であるSPILDLについて述べる。 SPILDL は DL-Learner (DLベースの ILP 学習における最先端技術) に基づいている。 DLベースのILP学習者として、SPILDLは$\mathcal{ALCQI}^{\mathcal{(D)}}$ DL言語をターゲットにしており、($\sqcup$演算子を使って)接続の解離として表現されたDL仮説を学習することができる。 さらに、SPILDLの仮説言語は、文字列具体的な役割(Web Ontology Language, OWLの文字列データプロパティとしても知られる)の使用も含んでいる。 SPILDLは、共有メモリと分散メモリの両方のアプローチを組み合わせたハイブリッド並列アプローチを採用し、(仮説探索と評価の両方のために)ILP学習を高速化する。 実験結果によると、SPILDLの並列検索により、最大$\sim$27.3 foldsの性能が向上した(ベストケース)。 SPILDLはHT-HEDL(我々のマルチコアCPU+マルチGPU仮説評価エンジン)による評価性能を最大38倍に改善した(ベストケース)。 SPILDLは並列検索と評価を組み合わせることで、最大$\sim$560フォルダのパフォーマンスを改善した(ベストケース)。 最悪のケースでは、SPILDLの並列検索はすべてのデータセットに対して一貫したスピードアップを提供しておらず、IPPデータセットの検索空間の性質に大きく依存している。 一部のデータセットでは、並列検索スレッドの数が増加するとパフォーマンスが低下する。 一部のILPデータセットは並列検索の恩恵を受けるが、他のデータセットは(あるいはパフォーマンスの上昇は無視できる)。 並列評価の観点では、小さなデータセットでは、並列評価はベースラインと同じような、あるいは悪いパフォーマンスを提供する。

関連論文リスト

• Accelerating Large Language Model Training with 4D Parallelism and Memory Consumption Estimator [4.953653137620666]
  大規模言語モデル(LLM)トレーニングでは、並列性(TP)、パイプライン並列性(PP)、データ並列性(DP)など、いくつかの並列化戦略が採用されている。 Llamaアーキテクチャにおける4次元並列トレーニング(DP, TP, PP, CP)のパラメータ, 勾配, 状態, アクティベーションによって消費されるメモリの正確な計算式を提供する。 結果は、推定メモリ使用量が利用可能なGPUメモリの80%未満である場合、トレーニングはメモリ外エラーに遭遇しないことを示している。
  論文  参考訳（メタデータ） (2024-11-10T13:45:08Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• LLM Performance Predictors are good initializers for Architecture Search [28.251129134057035]
  我々は、下流タスクにおける特定のディープニューラルネットワークアーキテクチャの性能を推定するパフォーマンス予測器(PP)を構築した。 機械翻訳 (MT) タスクでは, PPプロンプト (LLM-PP) を用いた GPT-4 は SoTA 平均絶対誤差と, ベースライン予測器と比較してランク相関係数がわずかに低下する。 ニューラルネットワーク探索 (NAS) では, LLM-Distill-PP を用いたハイブリッド探索アルゴリズム (HS-NAS) を導入する。
  論文  参考訳（メタデータ） (2023-10-25T15:34:30Z)
• Automatic Task Parallelization of Dataflow Graphs in ML/DL models [0.0]
  本稿では,MLデータフローグラフに固有の並列パスを利用する線形クラスタリング手法を提案する。 我々はONNX形式で入力MLモデルから可読かつ実行可能な並列Pytorch+Pythonコードを生成する。 いくつかのMLグラフの予備結果は、シリアル実行よりも1.9$times$スピードアップである。
  論文  参考訳（メタデータ） (2023-08-22T04:54:30Z)
• Parallel $Q$-Learning: Scaling Off-policy Reinforcement Learning under Massively Parallel Simulation [17.827002299991285]
  強化学習は、大量のトレーニングデータを必要とするため、複雑なタスクに時間を要する。 アイザック・ギムのようなGPUベースのシミュレーションの最近の進歩は、コモディティGPU上で何千回もデータを収集している。 本稿では,PPOを壁面時間で上回る並列$Q$-Learning方式を提案する。
  論文  参考訳（メタデータ） (2023-07-24T17:59:37Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Parallel Training of Deep Networks with Local Updates [84.30918922367442]
  ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。 我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
  論文  参考訳（メタデータ） (2020-12-07T16:38:45Z)
• Is deep learning necessary for simple classification tasks? [3.3793659640122717]
  自動機械学習(Automated Machine Learning、ML)とディープラーニング(Deep Learning、DL)は、帰納的学習タスクを解決するために使用される最先端のパラダイムである。 6つのよく認識された公開データセットのバイナリ分類の文脈でAutoMLとDLを比較した。 また、深部推定器を組み込んだ遺伝的プログラミングに基づくAutoMLの新しいツールの評価を行った。
  論文  参考訳（メタデータ） (2020-06-11T18:41:47Z)
• RadixSpline: A Single-Pass Learned Index [84.84747738666263]
  RadixSpline(RS)は、データに1回のパスで構築できる学習インデックスです。 RSは2つのパラメータしか持たないにもかかわらず、すべてのデータセットで競合的な結果を達成する。
  論文  参考訳（メタデータ） (2020-04-30T01:56:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。