論文の概要: Knowledge-Aware Parsimony Learning: A Perspective from Relational Graphs

• arxiv url: http://arxiv.org/abs/2407.00478v1
• Date: Sat, 29 Jun 2024 15:52:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:56:15.252537
• Title: Knowledge-Aware Parsimony Learning: A Perspective from Relational Graphs
• Title（参考訳）: 知識を意識したパロシモニー学習:リレーショナルグラフからの展望
• Authors: Quanming Yao, Yongqi Zhang, Yaqing Wang, Nan Yin, James Kwok, Qiang Yang,
• Abstract要約: スケーリング法則は、トレーニングデータセットと学習可能なパラメータのブルートフォーススケーリングを含む戦略である。 本稿では,知識を意識したパーシモニー学習を通じて関係グラフから学習する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 47.6830995661091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scaling law, a strategy that involves the brute-force scaling of the training dataset and learnable parameters, has become a prevalent approach for developing stronger learning models. In this paper, we examine its rationale in terms of learning from relational graphs. We demonstrate that directly adhering to such a scaling law does not necessarily yield stronger models due to architectural incompatibility and representation bottlenecks. To tackle this challenge, we propose a novel framework for learning from relational graphs via knowledge-aware parsimony learning. Our method draws inspiration from the duality between data and knowledge inherent in these graphs. Specifically, we first extract knowledge (like symbolic logic and physical laws) during the learning process, and then apply combinatorial generalization to the task at hand. This extracted knowledge serves as the ``building blocks'' for achieving parsimony learning. By applying this philosophy to architecture, parameters, and inference, we can effectively achieve versatile, sample-efficient, and interpretable learning. Experimental results show that our proposed framework surpasses methods that strictly follow the traditional scaling-up roadmap. This highlights the importance of incorporating knowledge in the development of next-generation learning technologies.
• Abstract（参考訳）: トレーニングデータセットと学習可能なパラメータをブルートフォースでスケーリングする戦略であるスケーリング法は、より強力な学習モデルを開発するための一般的なアプローチとなっている。 本稿では,関係グラフから学習する際の理性について考察する。 このようなスケーリング法則に忠実に従えば、アーキテクチャの非互換性や表現のボトルネックのため、必ずしもより強力なモデルが得られるとは限らないことを実証する。 この課題に対処するために,知識を意識したパーシモニー学習を通じて関係グラフから学習する新しいフレームワークを提案する。 本手法は,これらのグラフに固有の知識とデータとの二重性から着想を得たものである。 具体的には、まず学習過程において知識(記号論理や物理法則など)を抽出し、次に手元にある課題に組合せ一般化を適用する。 この抽出された知識は、同義語学習を達成するための「構築ブロック」として機能する。 この哲学をアーキテクチャ、パラメータ、推論に適用することにより、多目的、サンプル効率、解釈可能な学習を効果的に実現できる。 実験の結果,提案フレームワークは従来のスケールアップロードマップに厳格に従う手法を超越していることがわかった。 これは、次世代の学習技術の発展に知識を取り入れることの重要性を強調している。

関連論文リスト

• A Survey of Deep Learning and Foundation Models for Time Series Forecasting [16.814826712022324]
  ディープラーニングは多くのアプリケーションドメインにうまく適用されているが、その利点は時系列予測に現れるのが遅かった。 広範な事前学習を伴う基礎モデルにより、モデルはパターンを理解し、新しい関連する問題に適用可能な知識を得ることができる。 このような知識を深層学習モデルに活用または注入する方法について研究が進行中である。
  論文  参考訳（メタデータ） (2024-01-25T03:14:07Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Understanding Scaling Laws for Recommendation Models [1.6283945233720964]
  DLRMスタイルレコメンデーションモデル,特にClick-Through Rate(CTR)の実証スケーリング法則について検討する。 データ、パラメータ、計算の3つの異なるリソース次元に沿ってスケーリング効率を特徴付ける。 パラメータスケーリングは、現在研究中のモデルアーキテクチャにとって絶大であり、より高いパフォーマンスのモデルアーキテクチャが出現するまでは、データスケーリングが先進的な道であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T19:13:17Z)
• Algebraic Learning: Towards Interpretable Information Modeling [0.0]
  この論文は、一般的な情報モデリングにおける解釈可能性の問題に対処し、問題を2つの範囲から緩和する試みである。 まず、問題指向の視点を用いて、興味深い数学的性質が自然に現れるモデリング実践に知識を取り入れる。 第二に、訓練されたモデルを考えると、基礎となるシステムに関するさらなる洞察を抽出するために様々な方法を適用することができる。
  論文  参考訳（メタデータ） (2022-03-13T15:53:39Z)
• Bayesian Deep Learning for Graphs [6.497816402045099]
  論文は、この分野のほとんどのメソッドが構築される原則のレビューから始まり、続いてグラフ分類問題の研究が続く。 そこから、ディープアーキテクチャを漸進的に構築することで、グラフのディープラーニングに関する基本的なアイデアをベイジアンの世界に橋渡しします。 このフレームワークにより、離散的かつ連続的なエッジ特徴を持つグラフを考慮し、いくつかの分類タスクで最先端に達するのに十分な教師なしの埋め込みを生成することができる。
  論文  参考訳（メタデータ） (2022-02-24T20:18:41Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• Scaling Laws for Deep Learning [1.90365714903665]
  この論文では、これらのコストの根底にあるアルゴリズム的および方法論的制約に対処する体系的なアプローチを採っている。 まず、ディープラーニングトレーニングとプルーニングが、スケーリング法則によって予測可能であり、管理されていることを実証する。 そして、ノイズのない実現可能なケースの探索を通して、DLは実際、低いエラー限界からかなり離れた誤差源によって支配されていることを示す。
  論文  参考訳（メタデータ） (2021-08-17T15:37:05Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。