論文の概要: Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity

• arxiv url: http://arxiv.org/abs/2207.00751v1
• Date: Sat, 2 Jul 2022 06:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 15:45:15.943618
• Title: Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity
• Title（参考訳）: 広義ニューラルネットワークによるインフォームドラーニング:収束、一般化、サンプリング複雑性
• Authors: Jianyi Yang and Shaolei Ren
• Abstract要約: ドメイン知識が情報学習のパフォーマンスにどのような影響を及ぼすか、なぜ研究する。 本稿では,知識の利点をうまく活用し,ラベルと知識の不完全性のバランスをとるための,汎用的な情報教育目標を提案する。
• 参考スコア（独自算出の注目度）: 27.84415856657607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By integrating domain knowledge with labeled samples, informed machine learning has been emerging to improve the learning performance for a wide range of applications. Nonetheless, rigorous understanding of the role of injected domain knowledge has been under-explored. In this paper, we consider an informed deep neural network (DNN) with over-parameterization and domain knowledge integrated into its training objective function, and study how and why domain knowledge benefits the performance. Concretely, we quantitatively demonstrate the two benefits of domain knowledge in informed learning - regularizing the label-based supervision and supplementing the labeled samples - and reveal the trade-off between label and knowledge imperfectness in the bound of the population risk. Based on the theoretical analysis, we propose a generalized informed training objective to better exploit the benefits of knowledge and balance the label and knowledge imperfectness, which is validated by the population risk bound. Our analysis on sampling complexity sheds lights on how to choose the hyper-parameters for informed learning, and further justifies the advantages of knowledge informed learning.
• Abstract（参考訳）: ドメイン知識とラベル付きサンプルを統合することで、幅広いアプリケーションの学習性能を改善するために、情報機械学習が登場している。 それでも、注入されたドメイン知識の役割に関する厳密な理解は、まだ探索されていない。 本稿では,過剰パラメータ化とドメイン知識を学習対象関数に統合したインフォームドディープニューラルネットワーク(dnn)について検討し,ドメイン知識がパフォーマンスにどのように役立つか,そしてなぜかを検討する。 具体的には、ラベルに基づく監督とラベル付きサンプルの補足を行う情報学習におけるドメイン知識の2つの利点を定量的に示すとともに、ラベルと知識の不完全性のトレードオフを明らかにする。 この理論分析に基づいて, 知識の利点をうまく活用し, 人口の危険度によって検証されるラベルの不完全さと知識の不完全さをバランスさせるために, 一般化したインフォームドトレーニング目標を提案する。 サンプリング複雑性の分析は,情報学習におけるハイパーパラメータの選択方法に光を当て,知識情報学習の利点をさらに正当化する。

関連論文リスト

• Revealing the Parametric Knowledge of Language Models: A Unified Framework for Attribution Methods [45.1662948487385]
  言語モデル(LM)は、トレーニングプロセスからパラメトリック知識を取得し、それを重みに埋め込む。 インスタンス属性(IA)とニューロン属性(NA)は、このトレーニングによる知識に関する洞察を提供する。 本研究では,IA と NA の知識を定量化し,比較するための新しい評価枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-29T12:38:26Z)
• Knowledge Graphs as Context Sources for LLM-Based Explanations of Learning Recommendations [0.0]
  大規模言語モデル(LLM)と生成AIは、最近、人間のような説明を生成するための新しい扉を開いた。 本稿では,知識グラフ(KG)を現実的文脈の源泉として利用する手法を提案する。 知識グラフのセマンティックな関係を利用して、学習勧告に関するキュレートされた知識を提供する。
  論文  参考訳（メタデータ） (2024-03-05T14:41:12Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。 新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Worth of knowledge in deep learning [3.132595571344153]
  我々は、知識の価値を評価するために、解釈可能な機械学習にインスパイアされたフレームワークを提案する。 我々の研究結果は、依存、相乗効果、置換効果を含む、データと知識の複雑な関係を解明する。 我々のモデルに依存しないフレームワークは、様々な共通ネットワークアーキテクチャに適用でき、ディープラーニングモデルにおける事前知識の役割を包括的に理解することができる。
  論文  参考訳（メタデータ） (2023-07-03T02:25:19Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
  知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。 本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
  論文  参考訳（メタデータ） (2022-11-30T03:44:15Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• A Quantitative Perspective on Values of Domain Knowledge for Machine Learning [27.84415856657607]
  様々な形式のドメイン知識は、学習性能を向上させる上で重要な役割を担っている。 本研究では,ドメイン知識の価値を学習性能への貢献の観点から定量化する問題について検討する。
  論文  参考訳（メタデータ） (2020-11-17T06:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。