論文の概要: This Candidate is [MASK]. Prompt-based Sentiment Extraction and Reference Letters
- arxiv url: http://arxiv.org/abs/2410.16325v2
- Date: Wed, 13 Aug 2025 23:01:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 13:42:22.731419
- Title: This Candidate is [MASK]. Prompt-based Sentiment Extraction and Reference Letters
- Title(参考訳): この候補は[MASK]です。プロンプトに基づくセンチメント抽出と参照レター
- Authors: Fabian Slonimczyk,
- Abstract要約: テキストデータから感情を抽出するために,大規模言語モデル(LLM)を比較的単純な方法で展開する方法を提案する。
RLsの感情内容が明らかに雇用市場の結果に反映されていることを示す。
即席感情抽出の結果を再現できる方法は他にない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: I propose a relatively simple way to deploy pre-trained large language models (LLMs) in order to extract sentiment and other useful features from text data. The method, which I refer to as prompt-based sentiment extraction, offers multiple advantages over other methods used in economics and finance. I apply my prompt-based strategy to a hand-collected corpus of confidential reference letters (RLs). I show that the sentiment contents of RLs is clearly reflected in job market outcomes. Candidates with higher average sentiment in their letters perform markedly better regardless of the measure of success chosen. Moreover, I show that disagreement among letter writers negatively affects the job market candidate's performance. I compare my sentiment extraction approach to other commonly used methods for sentiment analysis: "bag-of-words" approaches, fine-tuned language models, and querying advanced chatbots. I find that no other method can reproduce the results obtained by prompt-based sentiment extraction. Finally, I slightly modify the method to obtain "gendered" sentiment scores (as in Eberhardt et al., 2023). I show that letters of reference written for female candidates emphasize "grindstone" personality traits, whereas male candidates' letters emphasize "standout" traits. These gender differences negatively affect women's job market outcomes.
- Abstract(参考訳): テキストデータから感情などの有用な特徴を抽出するために,事前訓練済みの大規模言語モデル(LLM)をデプロイする比較的簡単な方法を提案する。
この方法では、経済や金融で使われる他の方法に比べて、複数の利点が得られます。
秘密のレファレンスレター(RL)を手作業で収集したコーパスに、私のプロンプトベースの戦略を適用します。
RLsの感情内容が明らかに雇用市場の結果に反映されていることを示す。
手紙の中で平均的な感情を持つ候補者は、選択された成功の度合いに関わらず、著しく良い成績を収める。
さらに、書記者の不一致が求職者の業績に悪影響を及ぼすことを示す。
私は、感情抽出アプローチを、他の一般的な感情分析手法と比較する。"bag-of-words"アプローチ、微調整言語モデル、高度なチャットボットのクエリ。
即席感情抽出の結果を再現できる方法は他にない。
最後に、この手法を少し修正して「性的な」感情スコアを得る(Eberhardt et al , 2023)。
女性候補者に対する参考文字は「グレードストーン」の性格特性が強調されるのに対し、男性候補者の文字は「スタントアウト」の性格が強調されていることを示す。
これらの性別差は女性の雇用市場の結果に悪影響を及ぼす。
関連論文リスト
- Exploiting the English Vocabulary Profile for L2 word-level vocabulary assessment with LLMs [2.201161230389126]
本稿では,語彙のきめ細かい評価を可能にする新しい手法を提案する。
このスキームは、大きな言語モデル(LLM)と英語語彙プロファイル(EVP)を組み合わせたものである。
EVPは標準の語彙資源であり、文脈内語彙の使用を習熟度にリンクすることができる。
論文 参考訳(メタデータ) (2025-06-03T11:23:57Z) - Zero-Shot Keyphrase Generation: Investigating Specialized Instructions and Multi-Sample Aggregation on Large Language Models [52.829293635314194]
キーフレーズ生成(英: Keyphrase generation)とは、ある文書のキーフレーズを自動的に生成する、長期にわたるNLPタスクである。
本稿では,オープンソースの命令調整型LDM (Phi-3, Llama-3) のゼロショット機能と,このタスクのためのクローズドソース GPT-4o に着目した。
論文 参考訳(メタデータ) (2025-03-01T19:38:57Z) - A Statistical Analysis of LLMs' Self-Evaluation Using Proverbs [1.9073729452914245]
本稿では,300対の確率対からなる新規な確率データベースについて紹介する。
そこで本研究では,テキストのコンバージェンスと,類似の証明における数値コンバージェンスを評価するテストを提案する。
論文 参考訳(メタデータ) (2024-10-22T02:38:48Z) - From Test-Taking to Test-Making: Examining LLM Authoring of Commonsense Assessment Items [0.18416014644193068]
LLMをコモンセンス評価項目の著者とみなす。
我々はLLMに対して、コモンセンス推論のための顕著なベンチマークのスタイルでアイテムを生成するよう促す。
元のCOPAベンチマークの回答に成功するLCMも、自分自身の項目のオーサリングに成功していることがわかった。
論文 参考訳(メタデータ) (2024-10-18T22:42:23Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳(メタデータ) (2024-06-24T01:30:22Z) - Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3 [11.259583037191772]
小説における直接音声の発声におけるLlama-3の有効性について検討した。
LLMは28の小説のコーパスで印象的な結果を示し、ChatGPTとエンコーダベースのベースラインを大きなマージンで上回った。
論文 参考訳(メタデータ) (2024-06-17T09:56:46Z) - Unveiling LLM Evaluation Focused on Metrics: Challenges and Solutions [2.5179515260542544]
大規模言語モデル (LLM) は、テキスト生成、質問応答、テキスト要約における汎用的な応用のために、学界や業界全体で大きな注目を集めている。
パフォーマンスを定量化するためには、既存のメトリクスを包括的に把握することが重要です。
本稿では,メトリクスの観点からLLM評価を包括的に調査し,現在使用されているメトリクスの選択と解釈について考察する。
論文 参考訳(メタデータ) (2024-04-14T03:54:00Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z) - Training Language Models to Generate Text with Citations via Fine-grained Rewards [19.176465185343417]
大型言語モデル(LLM)は幻覚を起こす傾向があり、信頼できる情報源への参照が欠如しているため、その応答は信頼性に欠けることが多い。
本研究では,LLMに高い支援力と関連性のある引用を生成するための,微粒な報酬を用いた効果的な学習フレームワークを提案する。
LLaMA-2-7Bでは、細粒度の報酬がGPT-3.5-turboを上回り、ベースラインの中で最高の性能を達成している。
論文 参考訳(メタデータ) (2024-02-06T19:00:40Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in
LLM-Generated Reference Letters [97.11173801187816]
大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。
本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
論文 参考訳(メタデータ) (2023-10-13T16:12:57Z) - A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。
本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文 参考訳(メタデータ) (2023-07-06T16:28:35Z) - Using Full-Text Content to Characterize and Identify Best Seller Books [0.6442904501384817]
文学作品の観点から、本がベストセラーになるかどうかを予測するという課題を考察する。
従来のアプローチとは違って,書籍の全内容に焦点を合わせ,可視化と分類作業を検討した。
以上の結果から,本文の全内容のみを用いて,精度の高い書籍の成功を予測することは不可能であることが示唆された。
論文 参考訳(メタデータ) (2022-10-05T15:40:25Z) - ElitePLM: An Empirical Study on General Language Ability Evaluation of
Pretrained Language Models [78.08792285698853]
本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。
実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
論文 参考訳(メタデータ) (2022-05-03T14:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。