Fugu-MT 論文翻訳(概要): Effects of Pre- and Post-Processing on type-based Embeddings in Lexical Semantic Change Detection

論文の概要: Effects of Pre- and Post-Processing on type-based Embeddings in Lexical Semantic Change Detection

arxiv url: http://arxiv.org/abs/2101.09368v2
Date: Tue, 26 Jan 2021 19:32:24 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 18:18:13.258852
Title: Effects of Pre- and Post-Processing on type-based Embeddings in Lexical Semantic Change Detection
Title（参考訳）: 語彙意味変化検出における前・後処理がタイプベース埋め込みに及ぼす影響
Authors: Jens Kaiser, Sinan Kurtyigit, Serge Kotchourko, Dominik Schlechtweg
Abstract要約: 既存のモデルを(i)大きなコーパス上で事前トレーニングし、悪名高い小さなデータ問題に取り組むダイアクロニックターゲットコーパスを精錬することで最適化する。本結果は,様々な学習シナリオを対象とした語彙意味変化検出モデルの適用と最適化のガイドを提供する。
参考スコア（独自算出の注目度）: 4.7677261488999205
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Lexical semantic change detection is a new and innovative research field. The optimal fine-tuning of models including pre- and post-processing is largely unclear. We optimize existing models by (i) pre-training on large corpora and refining on diachronic target corpora tackling the notorious small data problem, and (ii) applying post-processing transformations that have been shown to improve performance on synchronic tasks. Our results provide a guide for the application and optimization of lexical semantic change detection models across various learning scenarios.
Abstract（参考訳）: 語彙的意味変化検出は、新しく革新的な研究分野である。事前処理や後処理を含むモデルの最適微調整はほとんど不明である。 i) 大規模コーパスの事前学習と, 悪名高い小データ問題に対処するダイアクロニックターゲットコーパスの精製, および (ii) 同期タスクの性能向上を目的とした後処理変換の適用により, 既存のモデルを最適化する。本結果は,様々な学習シナリオを対象とした語彙意味変化検出モデルの適用と最適化のガイドを提供する。

関連論文リスト

Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification [11.035878821365149]
本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
論文参考訳（メタデータ） (2022-09-10T16:14:53Z)
Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文参考訳（メタデータ） (2021-12-10T20:46:13Z)
Learning to Refit for Convex Learning Problems [11.464758257681197]
ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
論文参考訳（メタデータ） (2021-11-24T15:28:50Z)
Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文参考訳（メタデータ） (2021-09-03T14:29:20Z)
Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文参考訳（メタデータ） (2021-03-01T01:43:04Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
Real-Time Optimization Meets Bayesian Optimization and Derivative-Free Optimization: A Tale of Modifier Adaptation [0.0]
本稿では,不確実なプロセスのリアルタイム最適化において,プラントモデルミスマッチを克服するための修飾子適応方式について検討する。提案したスキームは物理モデルを組み込んでおり、探査中のリスクを最小限に抑えるために信頼領域のアイデアに依存している。取得関数の使用、プロセスノイズレベルを知る、または名目上のプロセスモデルを指定する利点を図示する。
論文参考訳（メタデータ） (2020-09-18T12:57:17Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)
Dynamic Scale Training for Object Detection [111.33112051962514]
本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
論文参考訳（メタデータ） (2020-04-26T16:48:17Z)
FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers [67.46036826589467]
本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2019-12-29T15:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。