論文の概要: Exploiting a Zoo of Checkpoints for Unseen Tasks

• arxiv url: http://arxiv.org/abs/2111.03628v1
• Date: Fri, 5 Nov 2021 17:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-08 15:04:20.681730
• Title: Exploiting a Zoo of Checkpoints for Unseen Tasks
• Title（参考訳）: 見えないタスクのためのチェックポイントの動物園を爆発させる
• Authors: Jiaji Huang, Qiang Qiu, Kenneth Church
• Abstract要約: タスクの空間をガウス過程としてモデル化する。 最大相互情報基準により代表チェックポイントを識別できる。 greedyメソッドは、タスク空間を"カバー"する可能性のある代表者を特定する。
• 参考スコア（独自算出の注目度）: 29.309248850221373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are so many models in the literature that it is difficult for practitioners to decide which combinations are likely to be effective for a new task. This paper attempts to address this question by capturing relationships among checkpoints published on the web. We model the space of tasks as a Gaussian process. The covariance can be estimated from checkpoints and unlabeled probing data. With the Gaussian process, we can identify representative checkpoints by a maximum mutual information criterion. This objective is submodular. A greedy method identifies representatives that are likely to "cover" the task space. These representatives generalize to new tasks with superior performance. Empirical evidence is provided for applications from both computational linguistics as well as computer vision.
• Abstract（参考訳）: 文献には多くのモデルがあり、新しいタスクにどのような組み合わせが有効になるかを決めるのは困難である。 本稿では,Web上で公開されたチェックポイント間の関係を捉えることによって,この問題に対処する。 タスクの空間をガウス過程としてモデル化する。 共分散はチェックポイントとラベルなしの検査データから推定できる。 ガウス過程により、最大相互情報量による代表チェックポイントの特定が可能となる。 この目的はモジュラーである。 greedyメソッドは、タスク空間を"カバー"する可能性のある代表者を特定する。 これらの代表者は優れた性能を持つ新しいタスクに一般化する。 経験的証拠は、計算言語学とコンピュータビジョンの両方から応用される。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Is Probing All You Need? Indicator Tasks as an Alternative to Probing Embedding Spaces [19.4968960182412]
  本研究では, 学習不能なタスクに対して, 特定の特性が存在する場合の埋め込み空間を問合せする「指示タスク」という用語を導入する。 適切な指標を適用すれば、プローブと比較して、取得・削除された情報のより正確な画像が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-24T15:08:12Z)
• Boosting Multitask Learning on Graphs through Higher-Order Task Affinities [17.70434437597516]
  与えられたグラフ上のノードラベルの予測は、コミュニティ検出や分子グラフ予測など、多くのアプリケーションにおいて広く研究されている問題である。 本稿では,グラフ上の複数のノードラベリング関数を同時に予測し,マルチタスク学習の観点からこの問題を再考する。 我々は高次タスク親和性尺度に基づいて,タスクをグループにクラスタリングするアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-06-24T15:53:38Z)
• Task Discovery: Finding the Tasks that Neural Networks Generalize on [1.4043229953691112]
  ニューラルネットワークが一般化する多くのタスクを、ひとつのイメージセットが引き起こす可能性があることを示す。 一例として、検出したタスクを使用して、逆行テストの分割を自動的に生成できることが示される。
  論文  参考訳（メタデータ） (2022-12-01T03:57:48Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
  本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。 この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。 簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
  論文  参考訳（メタデータ） (2020-07-01T19:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。