論文の概要: LABOR-LLM: Language-Based Occupational Representations with Large Language Models

• arxiv url: http://arxiv.org/abs/2406.17972v2
• Date: Wed, 11 Dec 2024 06:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:59:38.731766
• Title: LABOR-LLM: Language-Based Occupational Representations with Large Language Models
• Title（参考訳）: LABOR-LLM:大規模言語モデルを用いた言語ベース作業表現
• Authors: Susan Athey, Herman Brunborg, Tianyu Du, Ayush Kanodia, Keyon Vafa,
• Abstract要約: CAREERは、キャリア履歴の関数として労働者の次の仕事を予測する。 本稿では,履歴書に基づく基礎モデルを大規模言語モデルに置き換える方法を検討する。
• 参考スコア（独自算出の注目度）: 8.909328013944567
• License:
• Abstract: Vafa et al. (2024) introduced a transformer-based econometric model, CAREER, that predicts a worker's next job as a function of career history (an "occupation model"). CAREER was initially estimated ("pre-trained") using a large, unrepresentative resume dataset, which served as a "foundation model," and parameter estimation was continued ("fine-tuned") using data from a representative survey. CAREER had better predictive performance than benchmarks. This paper considers an alternative where the resume-based foundation model is replaced by a large language model (LLM). We convert tabular data from the survey into text files that resemble resumes and fine-tune the LLMs using these text files with the objective to predict the next token (word). The resulting fine-tuned LLM is used as an input to an occupation model. Its predictive performance surpasses all prior models. We demonstrate the value of fine-tuning and further show that by adding more career data from a different population, fine-tuning smaller LLMs surpasses the performance of fine-tuning larger models.
• Abstract（参考訳）: Vafa et al (2024) はトランスフォーマーベースの計量モデル CAREER を導入し、キャリア履歴の関数として労働者の次の仕事を予測する。 CAREERは当初、"境界モデル"として機能する大規模な非表現的履歴データセットを使用して"事前訓練"と推定され、パラメータ推定は代表調査のデータを使用して継続された。 CAREERはベンチマークよりも予測性能が優れていた。 本稿では,履歴書ベースの基盤モデルを大規模言語モデル (LLM) に置き換える方法を検討する。 調査から得られた表形式のデータを,これらのテキストファイルを用いて履歴や微調整に類似したテキストファイルに変換し,次のトークン(単語)を予測する。 結果として得られる微調整LDMは、占有モデルへの入力として使用される。 予測性能は以前の全てのモデルを上回る。 我々は、細調整の価値を示し、さらに異なる人口からより多くのキャリアデータを追加することで、細調整された小さなLSMが、より大規模なモデルの性能を上回ることを示す。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Scaling Retrieval-Based Language Models with a Trillion-Token Datastore [85.4310806466002]
  検索ベースLMが使用するデータストアのサイズを増大させることで,言語モデリングや下流タスクを一元的に改善できることがわかった。 データストア、モデル、事前学習データサイズで計算最適スケーリング曲線をプロットすることにより、より大きなデータストアを使用することで、同じトレーニング計算予算のモデル性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-07-09T08:27:27Z)
• Language-Based User Profiles for Recommendation [24.685132962653793]
  Language-based Factorization Model (LFM) はエンコーダ/デコーダモデルであり、エンコーダとデコーダの両方が大きな言語モデル(LLM)である。 エンコーダLLMは、ユーザの評価履歴から、ユーザの関心事のコンパクトな自然言語プロファイルを生成する。 我々は,MovieLens データセットに対する LFM のアプローチを,ユーザの評価履歴から直接予測する行列係数化と LLM モデルと比較し,評価を行った。
  論文  参考訳（メタデータ） (2024-02-23T21:58:50Z)
• Harnessing Large Language Models as Post-hoc Correctors [6.288056740658763]
  任意の機械学習モデルの予測に対する修正を提案するために,LLMがポストホックな修正器として機能することを示す。 我々は、データセットのラベル情報と、検証データセット上のMLモデルの予測を組み込むことで、文脈知識データベースを構築する。 テキスト解析と分子予測に関する実験結果から, モデルの性能が最大39%向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T22:50:41Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Let's Predict Who Will Move to a New Job [0.0]
  機械学習を使って、誰が新しい仕事に移行するかを予測する方法について論じる。 データはMLモデルに適したフォーマットに前処理される。 モデルは、精度、リコール、F1スコア、精度などの意思決定支援メトリクスを使用して評価される。
  論文  参考訳（メタデータ） (2023-09-15T11:43:09Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• The future is different: Large pre-trained language models fail in prediction tasks [2.9005223064604078]
  WALLSTREETBETS, ASKSCIENCE, THE DONALD, POLITICSの4つの新しいREDDITデータセットを紹介した。 まず,トピック分布が時間とともに変化するサブレディットからのポストの人気を予測した場合,LPLMは平均88%の性能低下を示すことを実証的に実証した。 次に、ニューラル変動動的トピックモデルとアテンションメカニズムを利用して、回帰タスクの時間的言語モデル表現を推論する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T11:01:36Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。