論文の概要: LANTERN: Scalable Distillation of Large Language Models for Job-Person Fit and Explanation

• arxiv url: http://arxiv.org/abs/2510.05490v1
• Date: Tue, 07 Oct 2025 01:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.050342
• Title: LANTERN: Scalable Distillation of Large Language Models for Job-Person Fit and Explanation
• Title（参考訳）: LANTERN:ジョブ・パーソン・フィットと説明のための大規模言語モデルのスケーラブル蒸留
• Authors: Zhoutong Fu, Yihan Cao, Yi-Lin Chen, Aman Lunia, Liming Dong, Neha Saraf, Ruijie Jiang, Yun Dai, Qingquan Song, Tan Wang, Guoyao Li, Derek Koh, Haichao Wei, Zhipeng Wang, Aman Gupta, Chengming Jiang, Jianqiang Shen, Liangjie Hong, Wenjing Zhang,
• Abstract要約: LinkedInでは、適度な評価と詳細な説明の両方を生成するために、求職者の公開プロファイルを求職要件に対して分析する必要がある。 本稿では,職種適合タスクに特化したLLM知識蒸留フレームワークであるLANTERNを紹介する。 LANTERNは,作業者の適合度と説明力の両面において,タスク固有の指標を大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 16.960316035628008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved strong performance across a wide range of natural language processing tasks. However, deploying LLMs at scale for domain specific applications, such as job-person fit and explanation in job seeking platforms, introduces distinct challenges. At LinkedIn, the job person fit task requires analyzing a candidate's public profile against job requirements to produce both a fit assessment and a detailed explanation. Directly applying open source or finetuned LLMs to this task often fails to yield high quality, actionable feedback due to the complexity of the domain and the need for structured outputs. Moreover, the large size of these models leads to high inference latency and limits scalability, making them unsuitable for online use. To address these challenges, we introduce LANTERN, a novel LLM knowledge distillation framework tailored specifically for job person fit tasks. LANTERN involves modeling over multiple objectives, an encoder model for classification purpose, and a decoder model for explanation purpose. To better distill the knowledge from a strong black box teacher model to multiple downstream models, LANTERN incorporates multi level knowledge distillation that integrates both data and logit level insights. In addition to introducing the knowledge distillation framework, we share our insights on post training techniques and prompt engineering, both of which are crucial for successfully adapting LLMs to domain specific downstream tasks. Extensive experimental results demonstrate that LANTERN significantly improves task specific metrics for both job person fit and explanation. Online evaluations further confirm its effectiveness, showing measurable gains in job seeker engagement, including a 0.24\% increase in apply rate and a 0.28\% increase in qualified applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて強力なパフォーマンスを実現している。 しかし、職探しプラットフォームにおける求職者の適合や説明など、ドメイン固有のアプリケーションに対して大規模にLLMをデプロイすることは、異なる課題をもたらす。 LinkedInでは、求職者の適合タスクは、求職要件に対して候補者の公開プロファイルを分析して、適性評価と詳細な説明の両方を生成する必要がある。 このタスクに直接オープンソースや微調整のLLMを適用すると、ドメインの複雑さと構造化された出力の必要性のため、高品質で実用的なフィードバックが得られないことが多い。 さらに、これらのモデルのサイズが大きいと、推論のレイテンシが高くなり、スケーラビリティが制限されるため、オンライン利用には適さない。 これらの課題に対処するために,職種適合タスクに特化したLLM知識蒸留フレームワークであるLANTERNを紹介した。 LANTERNは、複数の目的に対するモデリング、分類目的のためのエンコーダモデル、説明目的のためのデコーダモデルを含む。 強力なブラックボックス教師モデルから複数のダウンストリームモデルへの知識の抽出を改善するため、LANTERNはデータとロジットレベルの両方の洞察を統合するマルチレベル知識蒸留を取り入れている。 知識蒸留フレームワークの導入に加えて、私たちはポストトレーニング技術とエンジニアリングの促進に関する洞察を共有します。 大規模な実験結果から,LANTERNは作業者の適合度と説明力の両面において,タスク固有の指標を大幅に改善することが示された。 オンライン評価は、求職者のエンゲージメントの計測可能な増加を示し、適用率0.24\%、適格アプリケーション0.28\%の増加など、その効果をさらに確認している。

関連論文リスト

• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Enhancing Talent Employment Insights Through Feature Extraction with LLM Finetuning [0.0]
  遠隔作業の可利用性、報酬構造、教育要件、作業経験の好みなどの変数を識別する堅牢なパイプラインを開発する。 本手法は,従来の解析ツールの限界を克服するために,意味的チャンキング,検索拡張生成(RAG),微調整DistilBERTモデルを組み合わせる。 細調整されたモデルの包括的評価を行い、その強度、限界、スケーリングの可能性について分析する。
  論文  参考訳（メタデータ） (2025-01-13T19:49:49Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Graph Neural Prompting with Large Language Models [32.97391910476073]
  Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。 複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-27T06:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。