論文の概要: Knowledge-Aware Parsimony Learning: A Perspective from Relational Graphs

• arxiv url: http://arxiv.org/abs/2407.00478v2
• Date: Thu, 10 Oct 2024 15:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 04:30:18.923779
• Title: Knowledge-Aware Parsimony Learning: A Perspective from Relational Graphs
• Title（参考訳）: 知識を意識したパロシモニー学習:リレーショナルグラフからの展望
• Authors: Quanming Yao, Yongqi Zhang, Yaqing Wang, Nan Yin, James Kwok, Qiang Yang,
• Abstract要約: 我々は、より単純なモデルでより大きなポテンシャルを達成するために、擬似的に次世代モデルを開発する。 鍵となるのは、スケーリングの法則に頼るのではなく、記号やロジック、公式といったドメイン固有の知識を使ってモデルを駆動することだ。 このアプローチによって、モデル設計、トレーニング、解釈のパーシモニーを達成するために、この知識を"ビルディングブロック"として使用するフレームワークを構築することができます。
• 参考スコア（独自算出の注目度）: 47.6830995661091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scaling law, which involves the brute-force expansion of training datasets and learnable parameters, has become a prevalent strategy for developing more robust learning models. However, due to bottlenecks in data, computation, and trust, the sustainability of the scaling law is a serious concern for the future of deep learning. In this paper, we address this issue by developing next-generation models in a parsimonious manner (i.e., achieving greater potential with simpler models). The key is to drive models using domain-specific knowledge, such as symbols, logic, and formulas, instead of relying on the scaling law. This approach allows us to build a framework that uses this knowledge as "building blocks" to achieve parsimony in model design, training, and interpretation. Empirical results show that our methods surpass those that typically follow the scaling law. We also demonstrate the application of our framework in AI for science, specifically in the problem of drug-drug interaction prediction. We hope our research can foster more diverse technical roadmaps in the era of foundation models.
• Abstract（参考訳）: トレーニングデータセットと学習可能なパラメータのブルートフォース拡張を含むスケーリング法は、より堅牢な学習モデルを開発するための一般的な戦略となっている。 しかし、データ、計算、信頼のボトルネックのため、スケーリング法則の持続性は、ディープラーニングの未来にとって深刻な懸念である。 本稿では,より単純なモデルでより大きなポテンシャルを達成できる次世代モデルを開発することで,この問題に対処する。 鍵となるのは、スケーリングの法則に頼るのではなく、記号やロジック、公式といったドメイン固有の知識を使ってモデルを駆動することだ。 このアプローチによって、モデル設計、トレーニング、解釈のパーシモニーを達成するために、この知識を"ビルディングブロック"として使用するフレームワークを構築することができます。 実証的な結果は,我々の手法が通常スケーリング法に従う方法を上回ることを示している。 また,本フレームワークの科学への応用,特に薬物と薬物の相互作用予測の問題点について紹介する。 ファンデーションモデルの時代において、我々の研究がより多様な技術的なロードマップを育むことを願っています。

関連論文リスト

• Looking beyond the next token [75.00751370502168]
  トレーニングデータシーケンスの再構成と処理により、モデルが真のデータ生成プロセスをより正確に模倣できるようになる、と我々は主張する。 本手法は, 長期的目標を追加費用なしで自然に生成することを可能にした。
  論文  参考訳（メタデータ） (2025-04-15T16:09:06Z)
• How to Upscale Neural Networks with Scaling Law? A Survey and Practical Guidelines [20.62274005080048]
  初期の研究では、モデル性能におけるパワー-ロー関係が確立され、計算-最適スケーリング戦略が導かれた。 スパースモデル、Mix-of-Experts、検索強化学習、マルチモーダルモデルは、しばしば伝統的なスケーリングパターンから逸脱する。 スケーリングの振る舞いは、視覚、強化学習、微調整といった領域によって異なり、よりニュアンスなアプローチの必要性が強調されている。
  論文  参考訳（メタデータ） (2025-02-17T17:20:41Z)
• Efficient Exploration in Deep Reinforcement Learning: A Novel Bayesian Actor-Critic Algorithm [0.195804735329484]
  強化学習(RL)と深層強化学習(DRL)は破壊する可能性があり、我々が世界と対話する方法を既に変えている。 適用可能性の重要な指標の1つは、実世界のシナリオでスケールして機能する能力である。
  論文  参考訳（メタデータ） (2024-08-19T14:50:48Z)
• A Survey of Deep Learning and Foundation Models for Time Series Forecasting [16.814826712022324]
  ディープラーニングは多くのアプリケーションドメインにうまく適用されているが、その利点は時系列予測に現れるのが遅かった。 広範な事前学習を伴う基礎モデルにより、モデルはパターンを理解し、新しい関連する問題に適用可能な知識を得ることができる。 このような知識を深層学習モデルに活用または注入する方法について研究が進行中である。
  論文  参考訳（メタデータ） (2024-01-25T03:14:07Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• From Actions to Events: A Transfer Learning Approach Using Improved Deep Belief Networks [1.0554048699217669]
  本稿では,エネルギーモデルを用いた行動認識からイベント認識への知識マッピング手法を提案する。 このようなモデルはすべてのフレームを同時に処理し、学習プロセスを通じて空間的および時間的情報を運ぶことができる。
  論文  参考訳（メタデータ） (2022-11-30T14:47:10Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Understanding Scaling Laws for Recommendation Models [1.6283945233720964]
  DLRMスタイルレコメンデーションモデル,特にClick-Through Rate(CTR)の実証スケーリング法則について検討する。 データ、パラメータ、計算の3つの異なるリソース次元に沿ってスケーリング効率を特徴付ける。 パラメータスケーリングは、現在研究中のモデルアーキテクチャにとって絶大であり、より高いパフォーマンスのモデルアーキテクチャが出現するまでは、データスケーリングが先進的な道であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T19:13:17Z)
• Algebraic Learning: Towards Interpretable Information Modeling [0.0]
  この論文は、一般的な情報モデリングにおける解釈可能性の問題に対処し、問題を2つの範囲から緩和する試みである。 まず、問題指向の視点を用いて、興味深い数学的性質が自然に現れるモデリング実践に知識を取り入れる。 第二に、訓練されたモデルを考えると、基礎となるシステムに関するさらなる洞察を抽出するために様々な方法を適用することができる。
  論文  参考訳（メタデータ） (2022-03-13T15:53:39Z)
• Bayesian Deep Learning for Graphs [6.497816402045099]
  論文は、この分野のほとんどのメソッドが構築される原則のレビューから始まり、続いてグラフ分類問題の研究が続く。 そこから、ディープアーキテクチャを漸進的に構築することで、グラフのディープラーニングに関する基本的なアイデアをベイジアンの世界に橋渡しします。 このフレームワークにより、離散的かつ連続的なエッジ特徴を持つグラフを考慮し、いくつかの分類タスクで最先端に達するのに十分な教師なしの埋め込みを生成することができる。
  論文  参考訳（メタデータ） (2022-02-24T20:18:41Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• Scaling Laws for Deep Learning [1.90365714903665]
  この論文では、これらのコストの根底にあるアルゴリズム的および方法論的制約に対処する体系的なアプローチを採っている。 まず、ディープラーニングトレーニングとプルーニングが、スケーリング法則によって予測可能であり、管理されていることを実証する。 そして、ノイズのない実現可能なケースの探索を通して、DLは実際、低いエラー限界からかなり離れた誤差源によって支配されていることを示す。
  論文  参考訳（メタデータ） (2021-08-17T15:37:05Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。