論文の概要: Learning by Examples Based on Multi-level Optimization

• arxiv url: http://arxiv.org/abs/2109.10824v1
• Date: Wed, 22 Sep 2021 16:33:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 13:41:46.400417
• Title: Learning by Examples Based on Multi-level Optimization
• Title（参考訳）: 多レベル最適化に基づく例による学習
• Authors: Shentong Mo, Pengtao Xie
• Abstract要約: 我々はLBE(Learning By Examples)と呼ばれる新しい学習手法を提案する。 提案手法では,クエリサンプルに類似したトレーニングサンプルの集合を自動的に検索し,検索したサンプルのクラスラベルを用いてクエリサンプルのラベルを予測する。 様々なベンチマークにおいて,教師付き学習と少数ショット学習の両方において,本手法の有効性を実証する実験を行った。
• 参考スコア（独自算出の注目度）: 12.317568257671427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning by examples, which learns to solve a new problem by looking into how similar problems are solved, is an effective learning method in human learning. When a student learns a new topic, he/she finds out exemplar topics that are similar to this new topic and studies the exemplar topics to deepen the understanding of the new topic. We aim to investigate whether this powerful learning skill can be borrowed from humans to improve machine learning as well. In this work, we propose a novel learning approach called Learning By Examples (LBE). Our approach automatically retrieves a set of training examples that are similar to query examples and predicts labels for query examples by using class labels of the retrieved examples. We propose a three-level optimization framework to formulate LBE which involves three stages of learning: learning a Siamese network to retrieve similar examples; learning a matching network to make predictions on query examples by leveraging class labels of retrieved similar examples; learning the ``ground-truth'' similarities between training examples by minimizing the validation loss. We develop an efficient algorithm to solve the LBE problem and conduct extensive experiments on various benchmarks where the results demonstrate the effectiveness of our method on both supervised and few-shot learning.
• Abstract（参考訳）: 実例による学習は, 人間の学習において, 類似した問題の解決方法を検討することによって, 新たな問題の解き方を学ぶ。 学生が新しいトピックを学ぶと、このトピックに類似した模範的なトピックを見つけ出し、新しいトピックの理解を深めるための模範的なトピックを研究する。 我々は,この強力な学習スキルを人間から借用して,機械学習の改善を図ることを目的としている。 本研究では,LBE(Learning By Examples)と呼ばれる新しい学習手法を提案する。 このアプローチでは,クエリ例に類似した一連のトレーニング例を自動的に検索し,検索したサンプルのクラスラベルを用いてクエリ例のラベルを予測する。 そこで本研究では,学習の3段階を含むlbeを定式化するための3段階の最適化フレームワークを提案する。 類似例の検索のためのシャムネットワークの学習,検索された類似例のクラスラベルを活用したクエリ例の予測のためのマッチングネットワークの学習,検証損失の最小化による学習例間の'ground-truth'の類似性を学習する。 本研究では,lbe問題を解くための効率的なアルゴリズムを開発し,様々なベンチマーク実験を行い,教師付き学習と少数ショット学習の両方における手法の有効性を示す。

関連論文リスト

• Efficient Imitation Without Demonstrations via Value-Penalized Auxiliary Control from Examples [6.777249026160499]
  本研究は,実例に基づく探索を改善するアルゴリズムである例(VPACE)から有償補助制御を導入する。 本稿では,VPACEが有界値の推定値を維持しながら,課題の学習効率を大幅に向上することを示す。 予備的な結果は、VPACEが完全な軌跡や真のスパース報酬を使用するという一般的なアプローチよりも効率的に学習できることを示唆している。
  論文  参考訳（メタデータ） (2024-07-03T17:54:11Z)
• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• ScatterShot: Interactive In-context Example Curation for Text Transformation [44.9405895390925]
  In-context Learning のための高品質な実演セットを構築するための対話型システム ScatterShot を提案する。 ScatterShotは、未ラベルデータをタスク固有のパターンに反復的にスライスし、未探索または未飽和スライスからの情報入力をアクティブに学習する。 ユーザスタディでは、ScatterShotは入力空間の異なるパターンをカバーし、テキスト内のサンプルをより効率的にラベル付けするのに役立つ。
  論文  参考訳（メタデータ） (2023-02-14T21:13:31Z)
• Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
  本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。 数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。 そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
  論文  参考訳（メタデータ） (2022-01-07T02:46:35Z)
• Teaching an Active Learner with Contrastive Examples [35.926575235046634]
  本研究では,学習者が補助的な教師によって支援される追加のツイストを用いて,能動的学習の課題について検討する。 比較例を適応的に選択する効率的な学習アルゴリズムについて検討する。 2つの問題依存パラメータに基づいてアルゴリズムの性能保証を行う。
  論文  参考訳（メタデータ） (2021-10-28T05:00:55Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Few-shot Sequence Learning with Transformers [79.87875859408955]
  少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。 本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。 トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-17T12:30:38Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。