論文の概要: A Two-Stage Masked LM Method for Term Set Expansion

• arxiv url: http://arxiv.org/abs/2005.01063v1
• Date: Sun, 3 May 2020 12:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 06:31:39.795042
• Title: A Two-Stage Masked LM Method for Term Set Expansion
• Title（参考訳）: 項集合展開のための二段階マスクlm法
• Authors: Guy Kushilevitz, Shaul Markovitch, Yoav Goldberg
• Abstract要約: 用語集合拡張(TSE:Term Set Expansion): 意味クラスからサンプル項の小さなシードセットが与えられ、そのクラスのより多くのメンバが見つかる。 パターンベースと分布的アプローチを組み合わせた新しいTSEアルゴリズムを提案する。 提案手法は最先端のTSEアルゴリズムより優れている。
• 参考スコア（独自算出の注目度）: 50.59278236410461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We tackle the task of Term Set Expansion (TSE): given a small seed set of example terms from a semantic class, finding more members of that class. The task is of great practical utility, and also of theoretical utility as it requires generalization from few examples. Previous approaches to the TSE task can be characterized as either distributional or pattern-based. We harness the power of neural masked language models (MLM) and propose a novel TSE algorithm, which combines the pattern-based and distributional approaches. Due to the small size of the seed set, fine-tuning methods are not effective, calling for more creative use of the MLM. The gist of the idea is to use the MLM to first mine for informative patterns with respect to the seed set, and then to obtain more members of the seed class by generalizing these patterns. Our method outperforms state-of-the-art TSE algorithms. Implementation is available at: https://github.com/ guykush/TermSetExpansion-MPB/
• Abstract（参考訳）: 用語集合拡張(TSE:Term Set Expansion)というタスクに取り組み、セマンティッククラスからサンプル項の小さなシードセットを与えられ、そのクラスのより多くのメンバを見つけます。 このタスクは非常に実用的であり、少数の例から一般化する必要があるため、理論的にも有用である。 TSEタスクに対する従来のアプローチは、分散的あるいはパターンベースとして特徴付けられる。 我々は,ニューラルマスク言語モデル(MLM)のパワーを活用し,パターンベースと分布的アプローチを組み合わせた新しいTSEアルゴリズムを提案する。 シードセットのサイズが小さいため、微調整法は効果がなく、より創造的なMLMの使用を要求される。 アイデアの要点は、まずMLMを用いて、シードセットに関する情報的パターンを抽出し、これらのパターンを一般化して、シードクラスのより多くのメンバーを取得することである。 提案手法は最先端のTSEアルゴリズムより優れている。 実装は以下の通りである。 https://github.com/ guykush/TermSetExpansion-MPB/

関連論文リスト

• Topic Modeling with Fine-tuning LLMs and Bag of Sentences [1.8592384822257952]
  FT-Topicはトピックモデリングのための教師なしの微調整手法である。 SenCluは1つのトピックに対する文群の高速な推測とハードな割り当てを実現する、最先端のトピックモデリング手法である。
  論文  参考訳（メタデータ） (2024-08-06T11:04:07Z)
• Uncertainty-Guided Optimization on Large Language Model Search Trees [42.71167208999792]
  大規模言語モデル(LLM)の復号過程における最大可能性列の探索においては,greedy や beam search などの木探索アルゴリズムが標準となっている。 LLMの遷移確率に関する事前の信念を定義し、各反復において最も有望な経路についての後続の信念を得る。 モンテカルロ木探索のような高価なシミュレーションに基づく非光学的手法とは異なり、我々の手法は信念からのサンプルのみを必要とする。
  論文  参考訳（メタデータ） (2024-07-04T14:08:50Z)
• Less is more: Summarizing Patch Tokens for efficient Multi-Label Class-Incremental Learning [38.36863497458095]
  我々は, pAtch tokeN Embeddings (MULTI-LANE) を要約したクラス増分学習手法を提案する。 提案手法は, pAtch tokeN Embeddings (MULTI-LANE) を要約したマルチラベルクラスインクリメンタルラーニングであり, 高速な推論を実現するとともに, MLCILにおける非絡合タスク固有表現の学習を可能にする。
  論文  参考訳（メタデータ） (2024-05-24T15:18:27Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• How to Train Your MAML to Excel in Few-Shot Classification [26.51244463209443]
  そこで本研究では,MAMLの訓練方法について紹介する。 我々のアプローチはUNICORN-MAMLと呼ばれ、最先端のアルゴリズムに匹敵する、あるいは性能に優れる。
  論文  参考訳（メタデータ） (2021-06-30T17:56:15Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。