論文の概要: Surfing the modeling of PoS taggers in low-resource scenarios
- arxiv url: http://arxiv.org/abs/2402.02449v1
- Date: Sun, 4 Feb 2024 11:38:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:37:32.766142
- Title: Surfing the modeling of PoS taggers in low-resource scenarios
- Title（参考訳）: 低リソースシナリオにおけるPoSタグのモデリング
- Authors: Manuel Vilares Ferro, V\'ictor M. Darriba Bilbao, Francisco J.
Ribadas-Pena, Jorge Gra\~na Gil
- Abstract要約: 我々は,学習曲線の早期推定を,非深層学習者の利用を特徴とするシナリオにおいて,最も適切なモデルを選択するための実践的なメカニズムとして評価する。
我々は、このようなアプローチの信頼性を、異なる、より要求の高い運用環境において研究する。
西部イベロロマンスグループに属する言語であるガリシア語に対するPoSタグ生成のケーススタディとして、実験結果は我々の期待と一致している。
- 参考スコア（独自算出の注目度）: 0.24578723416255746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent trend towards the application of deep structured techniques has
revealed the limits of huge models in natural language processing. This has
reawakened the interest in traditional machine learning algorithms, which have
proved still to be competitive in certain contexts, in particular low-resource
settings. In parallel, model selection has become an essential task to boost
performance at reasonable cost, even more so when we talk about processes
involving domains where the training and/or computational resources are scarce.
Against this backdrop, we evaluate the early estimation of learning curves as a
practical mechanism for selecting the most appropriate model in scenarios
characterized by the use of non-deep learners in resource-lean settings. On the
basis of a formal approximation model previously evaluated under conditions of
wide availability of training and validation resources, we study the
reliability of such an approach in a different and much more demanding
operationalenvironment. Using as case study the generation of PoS taggers for
Galician, a language belonging to the Western Ibero-Romance group, the
experimental results are consistent with our expectations.
- Abstract（参考訳）: 深層構造技術の適用に向けた最近の傾向は、自然言語処理における巨大なモデルの限界を明らかにしている。
これにより、従来の機械学習アルゴリズムに対する関心が再燃し、特定の状況、特に低リソース環境において競争力があることが証明された。
並行して、モデル選択は、トレーニングや計算リソースが不足している領域に関わるプロセスについて話すときに、合理的なコストでパフォーマンスを高めるために不可欠なタスクになっています。
この背景に対して,学習曲線の早期推定を,リソース・リーン環境における非深層学習者の利用を特徴とするシナリオにおいて,最も適切なモデルを選択するための実践的メカニズムとして評価する。
トレーニングと検証資源の広範囲な利用条件下で評価された公式近似モデルに基づいて,そのようなアプローチの信頼性を,より異なる,より要求の高い運用環境下で検証する。
西部イベロロマンスグループに属する言語であるガリシア語に対するPoSタグ生成のケーススタディとして、実験結果は我々の期待と一致している。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Zero-shot Model-based Reinforcement Learning using Large Language Models [12.930241182192988]
本稿では,マルコフ決定過程の動的状態を予測するために,事前学習した大規模言語モデルをどのように活用することができるかを検討する。
本稿では,モデルに基づく政策評価とデータ強化型オフ政治強化学習という2つの強化学習環境における概念実証の応用について述べる。
論文 参考訳（メタデータ） (2024-10-15T15:46:53Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - How to Determine the Most Powerful Pre-trained Language Model without
Brute Force Fine-tuning? An Empirical Survey [23.757740341834126]
その結果,H-Scoreは効率性や効率性に優れることがわかった。
また、トレーニングの詳細、テキスト生成への適用性、今後の方向性に光を当てる特定の指標との整合性といった難しさについても概説する。
論文 参考訳（メタデータ） (2023-12-08T01:17:28Z) - Towards a Prediction of Machine Learning Training Time to Support
Continuous Learning Systems Development [5.207307163958806]
我々は全文を実証研究する。
ZhengらによるFPTC(Time Complexity)アプローチ。
本稿では,ロジスティック回帰とランダムフォレスト分類のための定式化について検討する。
本研究では,本研究から,学習時間の予測が文脈とどのように密接に関連しているかを観察する。
論文 参考訳（メタデータ） (2023-09-20T11:35:03Z) - A Bayesian Approach to Robust Inverse Reinforcement Learning [54.24816623644148]
我々は、オフラインモデルに基づく逆強化学習(IRL)に対するベイズ的アプローチを考える。
提案フレームワークは,専門家の報酬関数と環境力学の主観的モデルとを同時推定することにより,既存のオフラインモデルベースIRLアプローチとは異なる。
本分析は, 専門家が環境の高精度なモデルを持つと考えられる場合, 評価政策が堅牢な性能を示すという新たな知見を提示する。
論文 参考訳（メタデータ） (2023-09-15T17:37:09Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-03T21:49:14Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳（メタデータ） (2022-10-06T00:33:01Z) - A Survey on Recent Approaches for Natural Language Processing in
Low-Resource Scenarios [30.391291221959545]
ディープニューラルネットワークと巨大な言語モデルが、自然言語アプリケーションにおいて一様化しつつある。
大量のトレーニングデータを必要とすることで知られているため、低リソース環境でのパフォーマンスを改善するための作業が増えている。
ニューラルモデルに対する最近の根本的な変化と、一般的なプレトレインおよびファインチューンパラダイムにより、低リソースの自然言語処理に対する有望なアプローチを調査した。
論文 参考訳（メタデータ） (2020-10-23T11:22:01Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。