論文の概要: Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity

• arxiv url: http://arxiv.org/abs/2207.00751v1
• Date: Sat, 2 Jul 2022 06:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 15:45:15.943618
• Title: Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity
• Title（参考訳）: 広義ニューラルネットワークによるインフォームドラーニング:収束、一般化、サンプリング複雑性
• Authors: Jianyi Yang and Shaolei Ren
• Abstract要約: ドメイン知識が情報学習のパフォーマンスにどのような影響を及ぼすか、なぜ研究する。 本稿では,知識の利点をうまく活用し,ラベルと知識の不完全性のバランスをとるための,汎用的な情報教育目標を提案する。
• 参考スコア（独自算出の注目度）: 27.84415856657607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By integrating domain knowledge with labeled samples, informed machine learning has been emerging to improve the learning performance for a wide range of applications. Nonetheless, rigorous understanding of the role of injected domain knowledge has been under-explored. In this paper, we consider an informed deep neural network (DNN) with over-parameterization and domain knowledge integrated into its training objective function, and study how and why domain knowledge benefits the performance. Concretely, we quantitatively demonstrate the two benefits of domain knowledge in informed learning - regularizing the label-based supervision and supplementing the labeled samples - and reveal the trade-off between label and knowledge imperfectness in the bound of the population risk. Based on the theoretical analysis, we propose a generalized informed training objective to better exploit the benefits of knowledge and balance the label and knowledge imperfectness, which is validated by the population risk bound. Our analysis on sampling complexity sheds lights on how to choose the hyper-parameters for informed learning, and further justifies the advantages of knowledge informed learning.
• Abstract（参考訳）: ドメイン知識とラベル付きサンプルを統合することで、幅広いアプリケーションの学習性能を改善するために、情報機械学習が登場している。 それでも、注入されたドメイン知識の役割に関する厳密な理解は、まだ探索されていない。 本稿では,過剰パラメータ化とドメイン知識を学習対象関数に統合したインフォームドディープニューラルネットワーク(dnn)について検討し,ドメイン知識がパフォーマンスにどのように役立つか,そしてなぜかを検討する。 具体的には、ラベルに基づく監督とラベル付きサンプルの補足を行う情報学習におけるドメイン知識の2つの利点を定量的に示すとともに、ラベルと知識の不完全性のトレードオフを明らかにする。 この理論分析に基づいて, 知識の利点をうまく活用し, 人口の危険度によって検証されるラベルの不完全さと知識の不完全さをバランスさせるために, 一般化したインフォームドトレーニング目標を提案する。 サンプリング複雑性の分析は,情報学習におけるハイパーパラメータの選択方法に光を当て,知識情報学習の利点をさらに正当化する。

関連論文リスト

• Reliability Across Parametric and External Knowledge: Understanding Knowledge Handling in LLMs [11.860265967829884]
  大規模言語モデル(LLM)はパラメトリックと外部の知識を活用することで問題解決能力を高める。 本稿では,パラメトリック知識の存在と外部知識の情報性という2つの重要な側面に基づいて,知識処理を解析するための枠組みを提案する。 知識処理シナリオに基づいて構築されたデータによるトレーニングは、知識の統合と活用におけるLLMの信頼性を向上させることを実証する。
  論文  参考訳（メタデータ） (2025-02-19T11:49:23Z)
• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• LEKA:LLM-Enhanced Knowledge Augmentation [24.552995956148145]
  人間は類推学習と知識伝達に優れる。 モデルは受動的に取得し、知識から積極的にアクセスし、学習するようになる。 知識伝達のための知識拡張手法LEKAを開発した。
  論文  参考訳（メタデータ） (2025-01-29T17:44:57Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Worth of knowledge in deep learning [3.132595571344153]
  我々は、知識の価値を評価するために、解釈可能な機械学習にインスパイアされたフレームワークを提案する。 我々の研究結果は、依存、相乗効果、置換効果を含む、データと知識の複雑な関係を解明する。 我々のモデルに依存しないフレームワークは、様々な共通ネットワークアーキテクチャに適用でき、ディープラーニングモデルにおける事前知識の役割を包括的に理解することができる。
  論文  参考訳（メタデータ） (2023-07-03T02:25:19Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• A Quantitative Perspective on Values of Domain Knowledge for Machine Learning [27.84415856657607]
  様々な形式のドメイン知識は、学習性能を向上させる上で重要な役割を担っている。 本研究では,ドメイン知識の価値を学習性能への貢献の観点から定量化する問題について検討する。
  論文  参考訳（メタデータ） (2020-11-17T06:12:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。