論文の概要: Informed Pre-Training on Prior Knowledge

• arxiv url: http://arxiv.org/abs/2205.11433v1
• Date: Mon, 23 May 2022 16:24:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 22:38:02.336518
• Title: Informed Pre-Training on Prior Knowledge
• Title（参考訳）: 事前知識のインフォームド事前学習
• Authors: Laura von Rueden, Sebastian Houben, Kostadin Cvejoski, Christian Bauckhage, Nico Piatkowski
• Abstract要約: トレーニングデータが少ない場合には、追加の事前知識が組み込まれて学習プロセスを支援することができる。 本稿では,新しい情報機械学習手法を提案し,事前知識の事前学習を提案する。
• 参考スコア（独自算出の注目度）: 6.666503127282259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When training data is scarce, the incorporation of additional prior knowledge can assist the learning process. While it is common to initialize neural networks with weights that have been pre-trained on other large data sets, pre-training on more concise forms of knowledge has rather been overlooked. In this paper, we propose a novel informed machine learning approach and suggest to pre-train on prior knowledge. Formal knowledge representations, e.g. graphs or equations, are first transformed into a small and condensed data set of knowledge prototypes. We show that informed pre-training on such knowledge prototypes (i) speeds up the learning processes, (ii) improves generalization capabilities in the regime where not enough training data is available, and (iii) increases model robustness. Analyzing which parts of the model are affected most by the prototypes reveals that improvements come from deeper layers that typically represent high-level features. This confirms that informed pre-training can indeed transfer semantic knowledge. This is a novel effect, which shows that knowledge-based pre-training has additional and complementary strengths to existing approaches.
• Abstract（参考訳）: トレーニングデータが不足している場合には、事前知識の追加が学習プロセスを支援する。 他の大規模データセットで事前トレーニングされた重み付きニューラルネットワークの初期化は一般的だが、より簡潔な知識の事前トレーニングは見過ごされている。 本稿では,新しいインフォームド機械学習手法を提案し,事前知識を事前学習することを提案する。 形式的知識表現、例えばグラフや方程式は、まず知識プロトタイプの小さな凝縮されたデータセットに変換される。 このような知識プロトタイプのインフォームド事前学習が (i)学習プロセスを高速化する。 (二)十分な訓練データが得られない体制における一般化能力の向上、及び 3) モデルロバスト性を高める。 モデルのどの部分がプロトタイプによって最も影響を受けるかを分析すると、改善は一般的にハイレベルな機能を表現するより深い層からもたらされる。 これは、インフォームドプレトレーニングがセマンティック知識を伝達できることを確認する。 これは、知識に基づく事前学習が既存のアプローチに追加かつ補完的な強みを持つことを示す新しい効果である。

関連論文リスト

• Why pre-training is beneficial for downstream classification tasks? [32.331679393303446]
  本稿では,ゲーム理論の新たな視点から,事前学習が下流作業に与える影響を定量的かつ明示的に説明することを提案する。 具体的には,事前学習モデルにより符号化された知識を抽出し,定量化する。 我々は、下流タスクの推測のために、少数の事前訓練されたモデルの知識しか保存されていないことを発見した。
  論文  参考訳（メタデータ） (2024-10-11T02:13:16Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Step Out and Seek Around: On Warm-Start Training with Incremental Data [28.85668076145673]
  データは、自律運転のような現実世界のディープラーニングアプリケーションにおいて、時間とともに連続的にやってくることが多い。 以前トレーニングされたチェックポイントからのウォームスタートは、知識と高度な学習を維持する最も直感的な方法です。 本稿では、2つの新しいコンポーネントを持つ連続モデル改善アルゴリズムである知識統合・獲得(CKCA)を提案する。
  論文  参考訳（メタデータ） (2024-06-06T20:12:55Z)
• Informed Meta-Learning [55.2480439325792]
  メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。 我々は,非構造化知識表現からの事前の取り込みを容易にする,情報メタラーニングというハイブリッドパラダイムを定式化する。 データ効率、観測ノイズに対する堅牢性、タスク分散シフトを改善する上で、情報メタラーニングの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-02-25T15:08:37Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Does Pre-training Induce Systematic Inference? How Masked Language Models Acquire Commonsense Knowledge [91.15301779076187]
  プレトレーニング中のBERTモデルのミニバッチに言語知識を導入し、モデルがサポート対象の推論にどの程度うまく一般化するかを評価する。 一般化は事前学習の過程では改善せず, 帰納的, 体系的推論ではなく, 表面的, 共起的パターンからコモンセンス知識が獲得されることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T03:13:04Z)
• DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding [19.478288026844893]
  知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。 従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。 本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
  論文  参考訳（メタデータ） (2021-12-02T08:19:42Z)
• The Role of Bio-Inspired Modularity in General Learning [0.0]
  汎用知能の1つの目標は、事前学習を上書きすることなく、新しい情報を学ぶことである。 以前の知識をブートストラップすることで、新しいタスクの学習を早めることができる。 モジュール性は、破滅的な忘れとブートストラップの制約なしに学習に固執する、重み付けされた学習方法のソリューションを提供するかもしれない。
  論文  参考訳（メタデータ） (2021-09-23T18:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。