論文の概要: Breaking the HISCO Barrier: Automatic Occupational Standardization with OccCANINE
- arxiv url: http://arxiv.org/abs/2402.13604v2
- Date: Tue, 2 Apr 2024 14:56:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 08:39:34.214389
- Title: Breaking the HISCO Barrier: Automatic Occupational Standardization with OccCANINE
- Title(参考訳): HISCOバリアを破る:OccCanineによる自動作業標準化
- Authors: Christian Møller Dahl, Torben Johansen, Christian Vedel,
- Abstract要約: OccCANINEは、職業的記述をHISCO分類体系に変換する。
既存の言語モデル(CANINE)を精査して、これを自動的に実行します。
私たちのアプローチは精度、リコール、精度が90%以上であることが示されています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a new tool, OccCANINE, to automatically transform occupational descriptions into the HISCO classification system. The manual work involved in processing and classifying occupational descriptions is error-prone, tedious, and time-consuming. We finetune a preexisting language model (CANINE) to do this automatically, thereby performing in seconds and minutes what previously took days and weeks. The model is trained on 14 million pairs of occupational descriptions and HISCO codes in 13 different languages contributed by 22 different sources. Our approach is shown to have accuracy, recall, and precision above 90 percent. Our tool breaks the metaphorical HISCO barrier and makes this data readily available for analysis of occupational structures with broad applicability in economics, economic history, and various related disciplines.
- Abstract(参考訳): 本稿では,職業記述をHISCO分類システムに自動変換する新しいツールOccCANINEを提案する。
作業記述の処理と分類に関わる手作業は、エラーを起こしやすく、退屈で、時間がかかります。
既存の言語モデル(CANINE)を精査し、それを自動で実行します。
このモデルは、22の異なるソースから提供された13の言語で、1400万対の職業記述とHISCOコードに基づいて訓練されている。
私たちのアプローチは精度、リコール、精度が90%以上であることが示されています。
我々のツールは比喩障壁を破り、このデータを、経済、経済史、および様々な関連分野に広く適用可能な職業構造の分析に容易に利用できるようにする。
関連論文リスト
- Understanding Cross-Lingual Alignment -- A Survey [52.572071017877704]
言語間アライメントは多言語言語モデルにおける言語間の表現の有意義な類似性である。
本研究は,言語間アライメントの向上,手法の分類,分野全体からの洞察の要約といった手法の文献を調査する。
論文 参考訳(メタデータ) (2024-04-09T11:39:53Z) - Artificial Intelligence in the automatic coding of interviews on
Landscape Quality Objectives. Comparison and case study [0.0]
3つの人工知能機能(Atlas.ti、ChatGPT、Google Bard)を比較した。
この分析は、多くの欠陥と欠点があるにもかかわらず、意図した目的のためにAIが有用であることを示した。
論文 参考訳(メタデータ) (2023-12-09T15:37:19Z) - Blueprinting the Future: Automatic Item Categorization using
Hierarchical Zero-Shot and Few-Shot Classifiers [6.907552533477328]
本研究では,ゼロショットおよび少数ショット生成事前学習変換器(GPT)を用いた階層的項目分類手法を提案する。
検査ブループリントの階層的な性質はシームレスにナビゲートされ、複数のレベルの項目を階層的に分類することができる。
人工データによる初期シミュレーションは、この方法の有効性を示し、F1スコアで測定された平均精度92.91%を達成する。
論文 参考訳(メタデータ) (2023-12-06T15:51:49Z) - BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。
異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。
評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文 参考訳(メタデータ) (2023-10-24T12:18:17Z) - Privacy Adhering Machine Un-learning in NLP [66.17039929803933]
現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。
このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。
データの継続的な削除と モデル再訓練のステップはスケールしません
この課題に対処するために、textitMachine Unlearningを提案する。
論文 参考訳(メタデータ) (2022-12-19T16:06:45Z) - CsFEVER and CTKFacts: Czech Datasets for Fact Verification [0.0]
自動ファクトチェック機械学習モデルのトレーニングを目的としたチェコのデータセットを2つ提示する。
最初のデータセットは、約112kのクレームを持つCsFEVERで、有名なウィキペディアベースのFEVERデータセットのチェコ語バージョンを自動生成する。
3,097件からなる2番目のデータセットCTKFactsは、約200万件のチェコのニュースエージェンシーの報道のコーパス上に構築されている。
論文 参考訳(メタデータ) (2022-01-26T18:48:42Z) - Toward Educator-focused Automated Scoring Systems for Reading and
Writing [0.0]
本稿では,データとラベルの可用性,信頼性と拡張性,ドメインスコアリング,プロンプトとソースの多様性,伝達学習といった課題に対処する。
モデルトレーニングコストを増大させることなく、エッセイの長さを重要な特徴として保持する技術を採用している。
論文 参考訳(メタデータ) (2021-12-22T15:44:30Z) - Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。
分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-12-16T05:36:08Z) - Knowledge Distillation for Quality Estimation [79.51452598302934]
QE(Quality Estimation)は、参照翻訳のない機械翻訳の品質を自動的に予測するタスクである。
QEの最近の成功は、非常に大きなモデルが印象的な結果をもたらす多言語事前学習表現の使用に起因している。
提案手法は, データ拡張と組み合わせて, 8倍のパラメータを持つ蒸留前学習表現と競合する軽量QEモデルをもたらすことを示す。
論文 参考訳(メタデータ) (2021-07-01T12:36:21Z) - QMUL-SDS @ DIACR-Ita: Evaluating Unsupervised Diachronic Lexical
Semantics Classification in Italian [28.295390526029415]
本稿では,DIACR-ITA 2020タスクの成果と主な成果について述べる。
このタスクは、2つのダイアクロニック・イタリアのコーパスから単語のベクトル変化を訓練し、調整し、予測することである。
我々のモデルは83.3%の精度で3位にランクインした。
論文 参考訳(メタデータ) (2020-11-05T16:00:35Z) - Knowledge Distillation for Improved Accuracy in Spoken Question
Answering [63.72278693825945]
我々は,音声文書や書面文書から知識蒸留を行うための訓練戦略を考案した。
我々の研究は、言語モデルから知識の抽出を監督信号として進めている。
実験により,本手法はSpken-SQuADデータセット上で,最先端の言語モデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2020-10-21T15:18:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。