論文の概要: Towards Automated Knowledge Integration From Human-Interpretable Representations

• arxiv url: http://arxiv.org/abs/2402.16105v5
• Date: Wed, 05 Feb 2025 12:40:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:24:43.377509
• Title: Towards Automated Knowledge Integration From Human-Interpretable Representations
• Title（参考訳）: 人間解釈型表現による知識統合の自動化に向けて
• Authors: Katarzyna Kobalczyk, Mihaela van der Schaar,
• Abstract要約: 我々は,情報メタ学習の原理を理論的に導入・動機付けし,自動的かつ制御可能な帰納バイアス選択を可能にする。 データ効率と一般化を改善するための情報メタラーニングのメリットと限界を実証的に示す。
• 参考スコア（独自算出の注目度）: 55.2480439325792
• License:
• Abstract: A significant challenge in machine learning, particularly in noisy and low-data environments, lies in effectively incorporating inductive biases to enhance data efficiency and robustness. Despite the success of informed machine learning methods, designing algorithms with explicit inductive biases remains largely a manual process. In this work, we explore how prior knowledge represented in its native formats, e.g. in natural language, can be integrated into machine learning models in an automated manner. Inspired by the learning to learn principles of meta-learning, we consider the approach of learning to integrate knowledge via conditional meta-learning, a paradigm we refer to as informed meta-learning. We introduce and motivate theoretically the principles of informed meta-learning enabling automated and controllable inductive bias selection. To illustrate our claims, we implement an instantiation of informed meta-learning--the Informed Neural Process, and empirically demonstrate the potential benefits and limitations of informed meta-learning in improving data efficiency and generalisation.
• Abstract（参考訳）: 機械学習、特にノイズの多い低データ環境における重要な課題は、データ効率と堅牢性を高めるために、帰納バイアスを効果的に取り入れることである。 知的な機械学習手法の成功にもかかわらず、明示的な帰納的バイアスを持つアルゴリズムを設計することは、ほとんど手作業のままである。 そこで本研究では,自然言語などのネイティブフォーマットで表現された先行知識を,機械学習モデルに自動的に組み込む方法について検討する。 メタラーニングの原則を学ぶための学習にインスパイアされた我々は、条件付きメタラーニングを通じて知識を統合する学習のアプローチを考える。 我々は,情報メタ学習の原理を理論的に導入・動機付けし,自動的かつ制御可能な帰納バイアス選択を可能にする。 そこで我々は,情報メタラーニングの即時化であるインフォームド・ニューラル・プロセス(Informed Neural Process)を実装し,データ効率の向上と一般化における情報メタラーニングのメリットと限界を実証的に実証した。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• A Unified Framework for Continual Learning and Machine Unlearning [9.538733681436836]
  継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することによって,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T06:49:59Z)
• Concept Discovery for Fast Adapatation [42.81705659613234]
  データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。 提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-19T02:33:58Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• Learning with Limited Samples -- Meta-Learning and Applications to Communication Systems [46.760568562468606]
  メタ学習は、新しいタスクに迅速に適応できる学習アルゴリズムを最適化する。 このレビュー・モノグラフは、原則、アルゴリズム、理論、工学的応用をカバーし、メタラーニングの紹介を提供する。
  論文  参考訳（メタデータ） (2022-10-03T17:15:36Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Online Structured Meta-learning [137.48138166279313]
  現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。 この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。 3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
  論文  参考訳（メタデータ） (2020-10-22T09:10:31Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。