Fugu-MT 論文翻訳(概要): LABOR-LLM: Language-Based Occupational Representations with Large Language Models

論文の概要: LABOR-LLM: Language-Based Occupational Representations with Large Language Models

arxiv url: http://arxiv.org/abs/2406.17972v1
Date: Tue, 25 Jun 2024 23:07:18 GMT
ステータス: 処理完了
システム内更新日: 2024-06-27 15:07:42.351836
Title: LABOR-LLM: Language-Based Occupational Representations with Large Language Models
Title（参考訳）: LABOR-LLM:大規模言語モデルを用いた言語ベース作業表現
Authors: Tianyu Du, Ayush Kanodia, Herman Brunborg, Keyon Vafa, Susan Athey,
Abstract要約: 本稿では,CAREER ファンデーションモデルの微調整を微調整 LLM に置き換える方法を検討する。細調整されたLLMモデル予測は、市販のLLMモデルやCAREERよりも、様々な労働者サブ集団のキャリアトラジェクトリを代表していることを示す。
参考スコア（独自算出の注目度）: 8.909328013944567
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many empirical studies of labor market questions rely on estimating relatively simple predictive models using small, carefully constructed longitudinal survey datasets based on hand-engineered features. Large Language Models (LLMs), trained on massive datasets, encode vast quantities of world knowledge and can be used for the next job prediction problem. However, while an off-the-shelf LLM produces plausible career trajectories when prompted, the probability with which an LLM predicts a particular job transition conditional on career history will not, in general, align with the true conditional probability in a given population. Recently, Vafa et al. (2024) introduced a transformer-based "foundation model", CAREER, trained using a large, unrepresentative resume dataset, that predicts transitions between jobs; it further demonstrated how transfer learning techniques can be used to leverage the foundation model to build better predictive models of both transitions and wages that reflect conditional transition probabilities found in nationally representative survey datasets. This paper considers an alternative where the fine-tuning of the CAREER foundation model is replaced by fine-tuning LLMs. For the task of next job prediction, we demonstrate that models trained with our approach outperform several alternatives in terms of predictive performance on the survey data, including traditional econometric models, CAREER, and LLMs with in-context learning, even though the LLM can in principle predict job titles that are not allowed in the survey data. Further, we show that our fine-tuned LLM-based models' predictions are more representative of the career trajectories of various workforce subpopulations than off-the-shelf LLM models and CAREER. We conduct experiments and analyses that highlight the sources of the gains in the performance of our models for representative predictions.
Abstract（参考訳）: 労働市場問題に関する実証的研究の多くは、手作業による特徴に基づく小さな、慎重に構築された縦断調査データセットを用いて、比較的単純な予測モデルを推定することに依存している。大規模言語モデル(LLM)は、大量のデータセットに基づいて訓練され、膨大な量の世界の知識を符号化し、次のジョブ予測問題に使用することができる。しかし、既成のLLMは、刺激を受けると可塑性なキャリア軌跡を生成するが、LLMがキャリア履歴に基づいて特定のジョブ遷移条件を予測する確率は、一般に、与えられた人口の真の条件付き確率と一致しない。最近、Vafa et al (2024) は、大規模な非表現的履歴データセットを使用してトレーニングされたトランスフォーマーベースの「基礎モデル」、CAREERを導入し、ジョブ間の遷移を予測する。さらに、トランスフォーメーション学習技術を使用して、基礎モデルを利用して、全国的に代表される調査データセットに見られる条件付き遷移確率を反映した、移行と賃金の予測モデルを構築する方法をさらに実証した。本稿では,CAREER ファンデーションモデルの微調整を微調整 LLM に置き換える方法を検討する。今後のジョブ予測の課題として,従来のエコノメトリモデル,CAREER,LLMなど,調査データでは認められない職種を原則として予測できるにも関わらず,本手法でトレーニングしたモデルは,従来型のコンテキスト内学習による予測性能において,いくつかの選択肢よりも優れていることを示す。さらに,我々の微調整 LLM モデルによる予測は,既成の LLM モデルや CAREER よりも,様々なサブ集団のキャリアトラジェクトリを反映していることを示す。代表予測のためのモデルの性能向上の源泉を明らかにする実験と分析を行う。

関連論文リスト

SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Scaling Retrieval-Based Language Models with a Trillion-Token Datastore [85.4310806466002]
検索ベースLMが使用するデータストアのサイズを増大させることで,言語モデリングや下流タスクを一元的に改善できることがわかった。データストア、モデル、事前学習データサイズで計算最適スケーリング曲線をプロットすることにより、より大きなデータストアを使用することで、同じトレーニング計算予算のモデル性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2024-07-09T08:27:27Z)
Language-Based User Profiles for Recommendation [24.685132962653793]
Language-based Factorization Model (LFM) はエンコーダ/デコーダモデルであり、エンコーダとデコーダの両方が大きな言語モデル(LLM)である。エンコーダLLMは、ユーザの評価履歴から、ユーザの関心事のコンパクトな自然言語プロファイルを生成する。我々は,MovieLens データセットに対する LFM のアプローチを,ユーザの評価履歴から直接予測する行列係数化と LLM モデルと比較し,評価を行った。
論文参考訳（メタデータ） (2024-02-23T21:58:50Z)
Harnessing Large Language Models as Post-hoc Correctors [6.288056740658763]
任意の機械学習モデルの予測に対する修正を提案するために,LLMがポストホックな修正器として機能することを示す。我々は、データセットのラベル情報と、検証データセット上のMLモデルの予測を組み込むことで、文脈知識データベースを構築する。テキスト解析と分子予測に関する実験結果から, モデルの性能が最大39%向上することが示唆された。
論文参考訳（メタデータ） (2024-02-20T22:50:41Z)
LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。ゼロショット学習よりもパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-10-12T17:17:27Z)
Let's Predict Who Will Move to a New Job [0.0]
機械学習を使って、誰が新しい仕事に移行するかを予測する方法について論じる。データはMLモデルに適したフォーマットに前処理される。モデルは、精度、リコール、F1スコア、精度などの意思決定支援メトリクスを使用して評価される。
論文参考訳（メタデータ） (2023-09-15T11:43:09Z)
Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文参考訳（メタデータ） (2023-08-07T18:50:57Z)
Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
論文参考訳（メタデータ） (2023-06-23T10:18:02Z)
The future is different: Large pre-trained language models fail in prediction tasks [2.9005223064604078]
WALLSTREETBETS, ASKSCIENCE, THE DONALD, POLITICSの4つの新しいREDDITデータセットを紹介した。まず,トピック分布が時間とともに変化するサブレディットからのポストの人気を予測した場合,LPLMは平均88%の性能低下を示すことを実証的に実証した。次に、ニューラル変動動的トピックモデルとアテンションメカニズムを利用して、回帰タスクの時間的言語モデル表現を推論する簡単な手法を提案する。
論文参考訳（メタデータ） (2022-11-01T11:01:36Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。