論文の概要: Streamlining Admission with LOR Insights: AI-Based Leadership Assessment in Online Master's Program

• arxiv url: http://arxiv.org/abs/2508.05513v1
• Date: Thu, 07 Aug 2025 15:46:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.938358
• Title: Streamlining Admission with LOR Insights: AI-Based Leadership Assessment in Online Master's Program
• Title（参考訳）: LOR Insightsによる承認の合理化 - オンラインマスタプログラムにおけるAIベースのリーダシップアセスメント
• Authors: Meryem Yilmaz Soylu, Adrian Gallard, Jeonghyun Lee, Gayane Grigoryan, Rushil Desai, Stephen Harmon,
• Abstract要約: LORI: LOR Insightsは、オンラインマスターのプログラム申請者が提出したLORのリーダーシップスキルを評価するための、AIベースの新しい検出ツールです。 我々の最新のRoBERTaモデルは、重み付けされたF1スコア91.6%、精度92.4%、リコール91.6%を達成し、テストデータに強い一貫性を示す。
• 参考スコア（独自算出の注目度）: 0.9895793818721335
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Letters of recommendation (LORs) provide valuable insights into candidates' capabilities and experiences beyond standardized test scores. However, reviewing these text-heavy materials is time-consuming and labor-intensive. To address this challenge and support the admission committee in providing feedback for students' professional growth, our study introduces LORI: LOR Insights, a novel AI-based detection tool for assessing leadership skills in LORs submitted by online master's program applicants. By employing natural language processing and leveraging large language models using RoBERTa and LLAMA, we seek to identify leadership attributes such as teamwork, communication, and innovation. Our latest RoBERTa model achieves a weighted F1 score of 91.6%, a precision of 92.4%, and a recall of 91.6%, showing a strong level of consistency in our test data. With the growing importance of leadership skills in the STEM sector, integrating LORI into the graduate admissions process is crucial for accurately assessing applicants' leadership capabilities. This approach not only streamlines the admissions process but also automates and ensures a more comprehensive evaluation of candidates' capabilities.
• Abstract（参考訳）: 推薦書(LOR)は、標準化されたテストスコアを超えて、候補者の能力と経験に関する貴重な洞察を提供する。 しかし、これらのテキスト重資料の見直しには時間と労力がかかる。 この課題に対処し、学生の専門的成長に対するフィードバックを提供するための入学委員会を支援するために、オンラインマスターのプログラム申請者が提出したLORのリーダーシップスキルを評価する新しいAIベースの検出ツールであるLORI: LOR Insightsを紹介した。 自然言語処理を採用し,RoBERTaとLLAMAを用いた大規模言語モデルを活用することにより,チームワークやコミュニケーション,イノベーションといったリーダシップ特性の特定を目指す。 我々の最新のRoBERTaモデルは、重み付けされたF1スコア91.6%、精度92.4%、リコール91.6%を達成し、テストデータに強い一貫性を示す。 STEM分野におけるリーダーシップスキルの重要性が高まる中、LORIを大学院入学プロセスに統合することは、応募者のリーダーシップ能力の正確な評価に不可欠である。 このアプローチは、受け入れプロセスの合理化だけでなく、候補者の能力のより包括的な評価を自動化し、確実にする。

関連論文リスト

• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• AI Hiring with LLMs: A Context-Aware and Explainable Multi-Agent Framework for Resume Screening [12.845918958645676]
  大規模言語モデル(LLM)を用いたスクリーニング再開のためのマルチエージェントフレームワークを提案する。 フレームワークは、履歴抽出器、評価器、要約器、スコアフォーマッターを含む4つのコアエージェントから構成される。 この動的適応は、パーソナライズされた採用を可能にし、AI自動化と人材獲得のギャップを埋める。
  論文  参考訳（メタデータ） (2025-04-01T12:56:39Z)
• Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique [66.94905631175209]
  我々は、段階的に自然言語の自己批判(PANEL)を行う新しい推論時間スケーリング手法を提案する。 ステップレベルの探索プロセスのガイドとして、自己生成の自然言語批判をフィードバックとして採用している。 このアプローチは、タスク固有の検証と関連するトレーニングオーバーヘッドの必要性を回避します。
  論文  参考訳（メタデータ） (2025-03-21T17:59:55Z)
• SuperGPQA: Scaling LLM Evaluation across 285 Graduate Disciplines [118.8024915014751]
  大規模言語モデル(LLM)は、数学、物理学、計算機科学などの学問分野において顕著な熟練性を示している。 しかしながら、人間の知識は200以上の専門分野を含み、既存のベンチマークの範囲をはるかに超えている。 285分野にわたる大学院レベルの知識と推論能力を評価するベンチマークであるSuperGPQAを提案する。
  論文  参考訳（メタデータ） (2025-02-20T17:05:58Z)
• Unifying AI Tutor Evaluation: An Evaluation Taxonomy for Pedagogical Ability Assessment of LLM-Powered AI Tutors [7.834688858839734]
  我々は,現在最先端の大規模言語モデル (LLM) がAI家庭教師として有効かどうかを検討する。 本研究では,キーラーニング科学の原則に基づく8つの教育次元を持つ統一的な評価分類法を提案する。 MRBench - 192の会話と1,596の回答を含む新しい評価ベンチマーク。
  論文  参考訳（メタデータ） (2024-12-12T16:24:35Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• An Exploration of Higher Education Course Evaluation by Large Language Models [4.943165921136573]
  人工知能(AI)における大規模言語モデル(LLM)は、コース評価プロセスを強化するための新しい道筋を示す。 本研究は,中国大大学の100コースにわたる厳密な実験を行い,複数の視点から自動コース評価へのLLMの適用について検討した。
  論文  参考訳（メタデータ） (2024-11-03T20:43:52Z)
• A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models [0.0]
  本稿では,厳密な心理測定原理に基づくベンチマーク開発への包括的アプローチを提案する。 我々は、教育と教育の分野で新しいベンチマークを作成することで、このアプローチを説明する最初の試みを行う。 我々はブルームの分類学によってガイドされ、テスト開発で訓練された教育専門家のコンソーシアムによって厳格に設計された新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-29T19:32:43Z)
• Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
  我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。 GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。 この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
  論文  参考訳（メタデータ） (2024-08-07T12:11:49Z)
• Fairness in AI-Driven Recruitment: Challenges, Metrics, Methods, and Future Directions [0.0]
  改革プロセスは、組織のパフォーマンス、生産性、文化に大きな影響を与えます。 本稿では、AIによる採用システムで特定されるバイアスを体系的にレビューし、公正度指標とバイアス軽減手法を分類し、実際に使用される監査手法を強調した。
  論文  参考訳（メタデータ） (2024-05-30T05:25:14Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。