Fugu-MT 論文翻訳(概要): LABOR-LLM: Language-Based Occupational Representations with Large Language Models

論文の概要: LABOR-LLM: Language-Based Occupational Representations with Large Language Models

arxiv url: http://arxiv.org/abs/2406.17972v1
Date: Tue, 25 Jun 2024 23:07:18 GMT
ステータス: 処理完了
システム内更新日: 2024-06-27 15:07:42.351836
Title: LABOR-LLM: Language-Based Occupational Representations with Large Language Models
Title（参考訳）: LABOR-LLM:大規模言語モデルを用いた言語ベース作業表現
Authors: Tianyu Du, Ayush Kanodia, Herman Brunborg, Keyon Vafa, Susan Athey,
Abstract要約: 本稿では,CAREER ファンデーションモデルの微調整を微調整 LLM に置き換える方法を検討する。細調整されたLLMモデル予測は、市販のLLMモデルやCAREERよりも、様々な労働者サブ集団のキャリアトラジェクトリを代表していることを示す。
参考スコア（独自算出の注目度）: 8.909328013944567
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many empirical studies of labor market questions rely on estimating relatively simple predictive models using small, carefully constructed longitudinal survey datasets based on hand-engineered features. Large Language Models (LLMs), trained on massive datasets, encode vast quantities of world knowledge and can be used for the next job prediction problem. However, while an off-the-shelf LLM produces plausible career trajectories when prompted, the probability with which an LLM predicts a particular job transition conditional on career history will not, in general, align with the true conditional probability in a given population. Recently, Vafa et al. (2024) introduced a transformer-based "foundation model", CAREER, trained using a large, unrepresentative resume dataset, that predicts transitions between jobs; it further demonstrated how transfer learning techniques can be used to leverage the foundation model to build better predictive models of both transitions and wages that reflect conditional transition probabilities found in nationally representative survey datasets. This paper considers an alternative where the fine-tuning of the CAREER foundation model is replaced by fine-tuning LLMs. For the task of next job prediction, we demonstrate that models trained with our approach outperform several alternatives in terms of predictive performance on the survey data, including traditional econometric models, CAREER, and LLMs with in-context learning, even though the LLM can in principle predict job titles that are not allowed in the survey data. Further, we show that our fine-tuned LLM-based models' predictions are more representative of the career trajectories of various workforce subpopulations than off-the-shelf LLM models and CAREER. We conduct experiments and analyses that highlight the sources of the gains in the performance of our models for representative predictions.
Abstract（参考訳）: 労働市場問題に関する実証的研究の多くは、手作業による特徴に基づく小さな、慎重に構築された縦断調査データセットを用いて、比較的単純な予測モデルを推定することに依存している。大規模言語モデル(LLM)は、大量のデータセットに基づいて訓練され、膨大な量の世界の知識を符号化し、次のジョブ予測問題に使用することができる。しかし、既成のLLMは、刺激を受けると可塑性なキャリア軌跡を生成するが、LLMがキャリア履歴に基づいて特定のジョブ遷移条件を予測する確率は、一般に、与えられた人口の真の条件付き確率と一致しない。最近、Vafa et al (2024) は、大規模な非表現的履歴データセットを使用してトレーニングされたトランスフォーマーベースの「基礎モデル」、CAREERを導入し、ジョブ間の遷移を予測する。さらに、トランスフォーメーション学習技術を使用して、基礎モデルを利用して、全国的に代表される調査データセットに見られる条件付き遷移確率を反映した、移行と賃金の予測モデルを構築する方法をさらに実証した。本稿では,CAREER ファンデーションモデルの微調整を微調整 LLM に置き換える方法を検討する。今後のジョブ予測の課題として,従来のエコノメトリモデル,CAREER,LLMなど,調査データでは認められない職種を原則として予測できるにも関わらず,本手法でトレーニングしたモデルは,従来型のコンテキスト内学習による予測性能において,いくつかの選択肢よりも優れていることを示す。さらに,我々の微調整 LLM モデルによる予測は,既成の LLM モデルや CAREER よりも,様々なサブ集団のキャリアトラジェクトリを反映していることを示す。代表予測のためのモデルの性能向上の源泉を明らかにする実験と分析を行う。

関連論文リスト

Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
論文参考訳（メタデータ） (2024-11-26T10:13:39Z)
Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
論文参考訳（メタデータ） (2024-06-13T11:33:30Z)
Can Language Models Use Forecasting Strategies? [14.332379032371612]
実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。モデルはまだ、未来に関する正確な予測に苦戦している。
論文参考訳（メタデータ） (2024-06-06T19:01:42Z)
LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language [35.84181171987974]
我々のゴールは、数値データを処理し、任意の場所で確率的予測を行うレグレッションモデルを構築することである。まず、大規模言語モデルから明示的で一貫性のある数値予測分布を抽出する戦略を探求する。本研究では,テキストを数値予測に組み込む能力を示し,予測性能を改善し,定性的な記述を反映した定量的な構造を与える。
論文参考訳（メタデータ） (2024-05-21T15:13:12Z)
Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
論文参考訳（メタデータ） (2024-02-29T14:06:34Z)
Harnessing Large Language Models as Post-hoc Correctors [6.288056740658763]
任意の機械学習モデルの予測に対する修正を提案するために,LLMがポストホックな修正器として機能することを示す。我々は、データセットのラベル情報と、検証データセット上のMLモデルの予測を組み込むことで、文脈知識データベースを構築する。テキスト解析と分子予測に関する実験結果から, モデルの性能が最大39%向上することが示唆された。
論文参考訳（メタデータ） (2024-02-20T22:50:41Z)
Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文参考訳（メタデータ） (2023-08-07T18:50:57Z)
Can LMs Generalize to Future Data? An Empirical Analysis on Text Summarization [50.20034493626049]
最近の学習済み言語モデル(PLM)は、既存の抽象的な要約データセットにおいて有望な結果をもたらす。既存の要約ベンチマークは、標準の事前学習コーパスと微調整データセットと時間的に重複する。要約モデルに格納されたパラメトリック知識は、将来のデータに対する生成した要約の忠実度に大きく影響することを示す。
論文参考訳（メタデータ） (2023-05-03T08:08:07Z)
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。