論文の概要: Scalable Scientific Interest Profiling Using Large Language Models

• arxiv url: http://arxiv.org/abs/2508.15834v1
• Date: Tue, 19 Aug 2025 03:45:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.102223
• Title: Scalable Scientific Interest Profiling Using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたスケーラブルな科学的関心プロファイル
• Authors: Yilun Liang, Gongbo Zhang, Edward Sun, Betina Idnay, Yilu Fang, Fangyi Chen, Casey Ta, Yifan Peng, Chunhua Weng,
• Abstract要約: 科学的な関心プロファイルを生成するための2つの大規模言語モデルに基づく手法を開発し評価する。 PubMedの要約と、MeSH(Messical Subject Headings)用語を用いた要約を行い、研究者の自己記述プロファイルと比較する。 手作業によるレビューでは、MeSHベースのプロファイルの77.78パーセントが良し悪しと評価され、可読性は93.44パーセントで好まれ、パネリストはMeSHベースのプロファイルを67.86パーセントで比較した。
• 参考スコア（独自算出の注目度）: 15.636288161886641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research profiles help surface scientists' expertise but are often outdated. We develop and evaluate two large language model-based methods to generate scientific interest profiles: one summarizing PubMed abstracts and one using Medical Subject Headings (MeSH) terms, and compare them with researchers' self-written profiles. We assembled titles, MeSH terms, and abstracts for 595 faculty at Columbia University Irving Medical Center; self-authored profiles were available for 167. Using GPT-4o-mini, we generated profiles and assessed them with automatic metrics and blinded human review. Lexical overlap with self-written profiles was low (ROUGE-L, BLEU, METEOR), while BERTScore indicated moderate semantic similarity (F1: 0.542 for MeSH-based; 0.555 for abstract-based). Paraphrased references yielded 0.851, highlighting metric sensitivity. TF-IDF Kullback-Leibler divergence (8.56 for MeSH-based; 8.58 for abstract-based) suggested distinct keyword choices. In manual review, 77.78 percent of MeSH-based profiles were rated good or excellent, readability was favored in 93.44 percent of cases, and panelists preferred MeSH-based over abstract-based profiles in 67.86 percent of comparisons. Overall, large language models can generate researcher profiles at scale; MeSH-derived profiles tend to be more readable than abstract-derived ones. Machine-generated and self-written profiles differ conceptually, with human summaries introducing more novel ideas.
• Abstract（参考訳）: 研究プロファイルは科学者の専門知識を明らかにするのに役立つが、しばしば時代遅れである。 学術的関心プロファイルを生成するための2つの大規模言語モデルに基づく手法を開発し,評価する。1つはPubMedの抽象概念を要約し,もう1つはMeSH(Messical Subject Headings)用語を用いて,研究者の自己記述プロファイルと比較する。 コロンビア大学アーヴィング医療センターの595の学部で、タイトル、MeSH用語、要約を収集しました。 GPT-4o-miniを用いて、プロファイルを生成し、自動メトリクスで評価し、視覚障害者のレビューを行った。 一方BERTScoreは中程度の意味的類似性を示した(F1:0.542、MeSHベース0.555、抽象ベース0.555)。 パラフレーズ参照は0.851で、メートル法感度を強調した。 TF-IDF Kullback-Leibler 分岐 (MeSHベース8.56、抽象ベース8.58) は異なるキーワード選択を示唆した。 手作業によるレビューでは、MeSHベースのプロファイルの77.78パーセントが良し悪しと評価され、可読性は93.44パーセントで好まれ、パネリストはMeSHベースのプロファイルを67.86パーセントで比較した。 全体として、大規模言語モデルは研究者のプロファイルを大規模に生成できるが、MeSH由来のプロファイルは抽象的なプロファイルよりも読みやすい傾向にある。 機械生成と自己記述のプロファイルは概念的に異なり、人間の要約はより新しいアイデアを導入している。

関連論文リスト

• Automated Thematic Analyses Using LLMs: Xylazine Wound Management Social Media Chatter Use Case [2.583403860629219]
  大規模言語モデル(LLM)は、帰納的テーマ分析において課題に直面している。 専門家主導によるソーシャルメディアデータのテーマ分析を再現するために, LLM を用いた可能性について検討した。
  論文  参考訳（メタデータ） (2025-07-14T20:57:52Z)
• Leveraging Large Language Models for Comparative Literature Summarization with Reflective Incremental Mechanisms [44.99833362998488]
  ChatCiteは、比較文学要約を生成するために大きな言語モデル(LLM)を利用する新しい方法である。 注釈付き要約付き1000の研究論文からなるカスタムデータセットCompLit-LongContext上でChatCiteを評価する。
  論文  参考訳（メタデータ） (2024-12-03T04:09:36Z)
• Rationale Behind Essay Scores: Enhancing S-LLM's Multi-Trait Essay Scoring with Rationale Generated by LLMs [2.324913904215885]
  本稿では,Rationale-based Multiple Trait Scoring (RMTS)について紹介する。 RMTSは、プロンプトエンジニアリングに基づく大規模言語モデル(LLM)と、より小さな大規模言語モデル(S-LLM)を用いた微調整ベースのエッセイスコアモデルを統合する。 ASAP、ASAP++、Feedback Prizeなどのベンチマークデータセットの実験では、RMTSが特性特異的スコアリングにおいて最先端のモデルとバニラS-LLMを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-10-18T06:35:17Z)
• Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
  我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。 以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-06-27T19:26:11Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• PART: Pre-trained Authorship Representation Transformer [52.623051272843426]
  文書を書く著者は、自分のテキストに識別情報を印字する。 以前の作品では、手作りの機能や分類タスクを使って著者モデルを訓練していた。 セマンティクスの代わりにテキストの埋め込みを学習するために、対照的に訓練されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-30T11:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。