論文の概要: Knowledge-Aware Parsimony Learning: A Perspective from Relational Graphs

• arxiv url: http://arxiv.org/abs/2407.00478v2
• Date: Thu, 10 Oct 2024 15:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:29:10.901561
• Title: Knowledge-Aware Parsimony Learning: A Perspective from Relational Graphs
• Title（参考訳）: 知識を意識したパロシモニー学習:リレーショナルグラフからの展望
• Authors: Quanming Yao, Yongqi Zhang, Yaqing Wang, Nan Yin, James Kwok, Qiang Yang,
• Abstract要約: 我々は、より単純なモデルでより大きなポテンシャルを達成するために、擬似的に次世代モデルを開発する。 鍵となるのは、スケーリングの法則に頼るのではなく、記号やロジック、公式といったドメイン固有の知識を使ってモデルを駆動することだ。 このアプローチによって、モデル設計、トレーニング、解釈のパーシモニーを達成するために、この知識を"ビルディングブロック"として使用するフレームワークを構築することができます。
• 参考スコア（独自算出の注目度）: 47.6830995661091
• License:
• Abstract: The scaling law, which involves the brute-force expansion of training datasets and learnable parameters, has become a prevalent strategy for developing more robust learning models. However, due to bottlenecks in data, computation, and trust, the sustainability of the scaling law is a serious concern for the future of deep learning. In this paper, we address this issue by developing next-generation models in a parsimonious manner (i.e., achieving greater potential with simpler models). The key is to drive models using domain-specific knowledge, such as symbols, logic, and formulas, instead of relying on the scaling law. This approach allows us to build a framework that uses this knowledge as "building blocks" to achieve parsimony in model design, training, and interpretation. Empirical results show that our methods surpass those that typically follow the scaling law. We also demonstrate the application of our framework in AI for science, specifically in the problem of drug-drug interaction prediction. We hope our research can foster more diverse technical roadmaps in the era of foundation models.
• Abstract（参考訳）: トレーニングデータセットと学習可能なパラメータのブルートフォース拡張を含むスケーリング法は、より堅牢な学習モデルを開発するための一般的な戦略となっている。 しかし、データ、計算、信頼のボトルネックのため、スケーリング法則の持続性は、ディープラーニングの未来にとって深刻な懸念である。 本稿では,より単純なモデルでより大きなポテンシャルを達成できる次世代モデルを開発することで,この問題に対処する。 鍵となるのは、スケーリングの法則に頼るのではなく、記号やロジック、公式といったドメイン固有の知識を使ってモデルを駆動することだ。 このアプローチによって、モデル設計、トレーニング、解釈のパーシモニーを達成するために、この知識を"ビルディングブロック"として使用するフレームワークを構築することができます。 実証的な結果は,我々の手法が通常スケーリング法に従う方法を上回ることを示している。 また,本フレームワークの科学への応用,特に薬物と薬物の相互作用予測の問題点について紹介する。 ファンデーションモデルの時代において、我々の研究がより多様な技術的なロードマップを育むことを願っています。

関連論文リスト

• A Survey of Deep Learning and Foundation Models for Time Series Forecasting [16.814826712022324]
  ディープラーニングは多くのアプリケーションドメインにうまく適用されているが、その利点は時系列予測に現れるのが遅かった。 広範な事前学習を伴う基礎モデルにより、モデルはパターンを理解し、新しい関連する問題に適用可能な知識を得ることができる。 このような知識を深層学習モデルに活用または注入する方法について研究が進行中である。
  論文  参考訳（メタデータ） (2024-01-25T03:14:07Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Understanding Scaling Laws for Recommendation Models [1.6283945233720964]
  DLRMスタイルレコメンデーションモデル,特にClick-Through Rate(CTR)の実証スケーリング法則について検討する。 データ、パラメータ、計算の3つの異なるリソース次元に沿ってスケーリング効率を特徴付ける。 パラメータスケーリングは、現在研究中のモデルアーキテクチャにとって絶大であり、より高いパフォーマンスのモデルアーキテクチャが出現するまでは、データスケーリングが先進的な道であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T19:13:17Z)
• Algebraic Learning: Towards Interpretable Information Modeling [0.0]
  この論文は、一般的な情報モデリングにおける解釈可能性の問題に対処し、問題を2つの範囲から緩和する試みである。 まず、問題指向の視点を用いて、興味深い数学的性質が自然に現れるモデリング実践に知識を取り入れる。 第二に、訓練されたモデルを考えると、基礎となるシステムに関するさらなる洞察を抽出するために様々な方法を適用することができる。
  論文  参考訳（メタデータ） (2022-03-13T15:53:39Z)
• Bayesian Deep Learning for Graphs [6.497816402045099]
  論文は、この分野のほとんどのメソッドが構築される原則のレビューから始まり、続いてグラフ分類問題の研究が続く。 そこから、ディープアーキテクチャを漸進的に構築することで、グラフのディープラーニングに関する基本的なアイデアをベイジアンの世界に橋渡しします。 このフレームワークにより、離散的かつ連続的なエッジ特徴を持つグラフを考慮し、いくつかの分類タスクで最先端に達するのに十分な教師なしの埋め込みを生成することができる。
  論文  参考訳（メタデータ） (2022-02-24T20:18:41Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• Scaling Laws for Deep Learning [1.90365714903665]
  この論文では、これらのコストの根底にあるアルゴリズム的および方法論的制約に対処する体系的なアプローチを採っている。 まず、ディープラーニングトレーニングとプルーニングが、スケーリング法則によって予測可能であり、管理されていることを実証する。 そして、ノイズのない実現可能なケースの探索を通して、DLは実際、低いエラー限界からかなり離れた誤差源によって支配されていることを示す。
  論文  参考訳（メタデータ） (2021-08-17T15:37:05Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。