論文の概要: BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward

• arxiv url: http://arxiv.org/abs/2003.02738v1
• Date: Thu, 5 Mar 2020 16:06:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 06:15:20.908930
• Title: BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward
• Title（参考訳）: 教師としてのbert: シーケンスレベルの報酬のためのコンテキスト埋め込み
• Authors: Florian Schmidt and Thomas Hofmann
• Abstract要約: 単語を数えたり、比較したりした操作は、単語を埋め込んだり、埋め込みを比較したりすることができる。 BERT埋め込みの詳細な分析は、必要な依存関係をキャプチャするためにコンテキスト埋め込みを使用できることを実証的に示している。 我々は、無条件生成を強化学習問題とみなし、この挑戦的な環境では、報酬関数がn-gramの報酬よりも効果的な学習信号を提供することを示した。
• 参考スコア（独自算出の注目度）: 23.176481887478634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring the quality of a generated sequence against a set of references is a central problem in many learning frameworks, be it to compute a score, to assign a reward, or to perform discrimination. Despite great advances in model architectures, metrics that scale independently of the number of references are still based on n-gram estimates. We show that the underlying operations, counting words and comparing counts, can be lifted to embedding words and comparing embeddings. An in-depth analysis of BERT embeddings shows empirically that contextual embeddings can be employed to capture the required dependencies while maintaining the necessary scalability through appropriate pruning and smoothing techniques. We cast unconditional generation as a reinforcement learning problem and show that our reward function indeed provides a more effective learning signal than n-gram reward in this challenging setting.
• Abstract（参考訳）: 一連の参照に対して生成されたシーケンスの品質を測定することは、スコアの計算や報酬の割り当て、差別の実行など、多くの学習フレームワークにおいて中心的な問題である。 モデルアーキテクチャの大幅な進歩にもかかわらず、参照数とは独立にスケールするメトリクスは依然としてn-gram推定に基づいている。 単語を数えたり、比較したりした操作は、単語を埋め込んだり、埋め込みを比較したりすることができる。 BERT埋め込みの詳細な分析は、適切なプルーニングと平滑化技術によって必要なスケーラビリティを維持しながら、必要な依存関係をキャプチャするためにコンテキスト埋め込みを使用できることを実証的に示している。 非条件生成を強化学習問題として投げ込み,この課題設定において,我々の報酬関数がn-gram報酬よりも効果的な学習信号を提供することを示した。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• Decorrelation-based Self-Supervised Visual Representation Learning for Writer Identification [10.55096104577668]
  本稿では,自己教師型学習のデコリレーションに基づくパラダイムを探求し,著者識別のための不整合脳卒中の特徴の学習に適用する。 提案手法は,著者識別ベンチマークにおいて,現代の自己教師型学習フレームワークよりも優れていることを示す。 我々の知る限り、本研究は、著者検証タスクの学習表現に自己教師付き学習を適用した最初のものである。
  論文  参考訳（メタデータ） (2024-10-02T11:43:58Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• Perception and Semantic Aware Regularization for Sequential Confidence Calibration [12.265757315192497]
  本稿では,パーセプションとセマンティックなシーケンス正規化フレームワークを提案する。 意味的文脈に依存しない認識と言語モデルを導入し、高い知覚的類似性と意味的相関性を持つ類似のシーケンスを取得する。 シーンテキストや音声認識など,標準シーケンス認識タスクの実験により,本手法が新たな最先端の結果を設定できることが実証された。
  論文  参考訳（メタデータ） (2023-05-31T02:16:29Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Semantic Frame Induction with Deep Metric Learning [24.486546938073907]
  本研究では,深層学習を用いて文脈的埋め込みモデルを微調整するモデルを提案する。 セマンティック・フレーム・インダクションを実行するために、微調整されたコンテキスト適応型埋め込みを適用した。
  論文  参考訳（メタデータ） (2023-04-27T15:46:09Z)
• Self-Sufficient Framework for Continuous Sign Language Recognition [75.60327502570242]
  この作業の目標は、継続的手話認識のための自己充足型のフレームワークを開発することです。 これには、理解のための手、顔、口などの複雑なマルチスケール機能、フレームレベルのアノテーションの欠如が含まれる。 ネットワークやアノテーションを必要とせずに手動と非手動の両方の機能を抽出するDivide and Focus Convolution (DFConv)を提案する。 DPLRは、基底真理グロスシーケンスラベルと予測シーケンスを組み合わせることにより、非スパイクフレームレベルの擬似ラベルを伝搬する。
  論文  参考訳（メタデータ） (2023-03-21T11:42:57Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。