論文の概要: Can LLMs Predict Academic Collaboration? Topology Heuristics vs. LLM-Based Link Prediction on Real Co-authorship Networks
- arxiv url: http://arxiv.org/abs/2604.01379v1
- Date: Wed, 01 Apr 2026 20:39:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-03 14:21:09.969417
- Title: Can LLMs Predict Academic Collaboration? Topology Heuristics vs. LLM-Based Link Prediction on Real Co-authorship Networks
- Title(参考訳): LLMは学術的コラボレーションを予測できるか? トポロジカルヒューリスティックス vs. LLM-based Link Prediction on Real Co-authorship Networks
- Authors: Fan Huang, Munjung Kim,
- Abstract要約: 本研究では,大規模言語モデル(LLM)が,グラフ構造にアクセスせずに著者プロファイルのみを用いて将来の科学的コラボレーションを予測できるかどうかを考察する。
Qwen-722.5B-Instructは、AI研究の3つの歴史的時代において、LLMとトポロジーが異なる信号を捉え、補完的な設定で最強であることがわかった。
- 参考スコア(独自算出の注目度): 4.675202949988315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can large language models (LLMs) predict which researchers will collaborate? We study this question through link prediction on real-world co-authorship networks from OpenAlex (9.96M authors, 108.7M edges), evaluating whether LLMs can predict future scientific collaborations using only author profiles, without access to graph structure. Using Qwen2.5-72B-Instruct across three historical eras of AI research, we find that LLMs and topology heuristics capture distinct signals and are strongest in complementary settings. On new-edge prediction under natural class imbalance, the LLM achieves AUROC 0.714--0.789, outperforming Common Neighbors, Jaccard, and Preferential Attachment, with recall up to 92.9\%; under balanced evaluation, the LLM outperforms \emph{all} topology heuristics in every era (AUROC 0.601--0.658 vs.\ best-heuristic 0.525--0.538); on continued edges, the LLM (0.687) is competitive with Adamic-Adar (0.684). Critically, 78.6--82.7\% of new collaborations occur between authors with no common neighbor -- a blind spot where all topology heuristics score zero but the LLM still achieves AUROC 0.652 by reasoning from author metadata alone. A temporal metadata ablation reveals that research concepts are the dominant signal (removing concepts drops AUROC by 0.047--0.084). Providing pre-computed graph features to the LLM \emph{degrades} performance due to anchoring effects, confirming that LLMs and topology methods should operate as separate, complementary channels. A socio-cultural ablation finds that name-inferred ethnicity and institutional country do not predict collaboration beyond topology, reflecting the demographic homogeneity of AI research. A node2vec baseline achieves AUROC comparable to Adamic-Adar, establishing that LLMs access a fundamentally different information channel -- author metadata -- rather than encoding the same structural signal differently.
- Abstract(参考訳): 大規模言語モデル(LLM)は、どの研究者が協力するかを予測することができるか?
我々はOpenAlex(9.96万の著者、108.7万のエッジ)の現実世界の共著者ネットワークのリンク予測を通じてこの問題を考察し、LLMがグラフ構造にアクセスすることなく著者プロファイルのみを用いて将来の科学的コラボレーションを予測できるかどうかを評価する。
Qwen2.5-72B-Instructは、AI研究の3つの歴史的時代において、LLMとトポロジカルヒューリスティックスが異なる信号を捉え、補完的な設定で最強であることがわかった。
LLMはAUROC 0.714--0.789、AUROC 0.601--0.658、AUROC 0.601--0.658、AUROC 0.601-0.658、AUROC 0.601--0.658、AUROC 0.601--0.658、AUROC 0.714--0.658、AUROC 0.714--0.789、AUROC 0.714--0.789、AUROC 0.714-0.789、AUROC 0.714-0.789、AUROC 0.714-0.789、AUROC 0.601-0.658、LLMは92.9 %と評価されている。
LLM (0.687) はアダム・アダル (0.684) と競合する。
批判的に言えば、78.6--82.7\%の新たなコラボレーションが、一般的な隣人を持たない著者の間で発生している - すべての位相ヒューリスティックスが0点となる盲点だが、LLMは著者のメタデータだけでAUROC 0.652を達成している。
時間的メタデータのアブレーションは、研究概念が支配的な信号であることを明らかにする(除去概念はAUROCを0.047-0.084で減少させる)。
アンカー効果による LLM \emph{degrades} の性能に事前計算されたグラフ機能を提供することで、LCM とトポロジ法が別個の相補的なチャネルとして動作することを確認する。
社会文化的アブレーションは、名前の推論された民族と制度国家はトポロジを超えて協力を予測せず、AI研究の人口的均質性を反映している。
node2vecベースラインはAdamic-Adarに匹敵するAUROCを実現し、LLMが同じ構造信号を異なる方法で符号化するのではなく、基本的に異なる情報チャネル、すなわち作者のメタデータにアクセスすることを確立した。
関連論文リスト
- Evaluating Large Language Models for Gait Classification Using Text-Encoded Kinematic Waveforms [1.1635287453977645]
LLM(Large Language Models)は、構造化キネマティックデータに適用した場合、説明機能と信頼性に配慮した出力を提供する。
本研究は,テキスト数値列で表される連続歩行運動学を汎用LLMで分類できるかどうかを検証した。
論文 参考訳(メタデータ) (2026-03-04T10:23:35Z) - Assessing LLM Reliability on Temporally Recent Open-Domain Questions [15.456770184839726]
大規模言語モデル(LLM)は、オープンドメインの質問応答のためにますます多くデプロイされている。
我々は4つのオープンソース LLM が最近のReddit の質問 15,000 に対してどのように反応するかを調査した。
すべてのモデルは、8%のBLEU-1オーバーラップにもかかわらず、参照と99%以上のコサイン類似性を達成している。
論文 参考訳(メタデータ) (2026-01-17T21:33:27Z) - From Memorization to Creativity: LLM as a Designer of Novel Neural-Architectures [48.83701310501069]
大規模言語モデル(LLM)は、プログラム合成において優れているが、ニューラルネットワーク設計(信頼性、性能、構造的ノベルティ)を自律的にナビゲートする能力は、未調査のままである。
コード指向LLMをクローズドループ合成フレームワークに配置し、22の教師付き微調整サイクルの進化を解析することによって、この問題に対処する。
論文 参考訳(メタデータ) (2026-01-06T13:20:28Z) - Realizing LLMs' Causal Potential Requires Science-Grounded, Novel Benchmarks [20.409472830397455]
因果発見に関するLLM(Large Language Models)による最近の強いパフォーマンスの主張は、重要な欠陥によって損なわれている。
LLMは因果構造を本当に理由付けていますか?
LLMの因果解析の可能性を実現するには、(P.1)最近の科学的研究に基づく堅牢な評価プロトコルを開発し、(P.2)LLM由来の知識とデータ駆動統計を組み合わせたハイブリッドな手法を設計することが必要である。
論文 参考訳(メタデータ) (2025-10-18T14:58:04Z) - Evaluating the Promise and Pitfalls of LLMs in Hiring Decisions [1.1883838320818292]
大規模言語モデル(LLM)は、候補スクリーニングの合理化を約束するが、精度とアルゴリズムバイアスに関する深刻な懸念も引き起こす。
いくつかの最先端の基盤的LCMをベンチマークし、ジョブ候補マッチングのためのドメイン固有の採用モデル(Match Score)と比較する。
実験の結果,Match Score は汎用 LLM よりも精度(ROC AUC 0.85 対 0.77 )が優れており,人口集団間でより公平な結果が得られた。
論文 参考訳(メタデータ) (2025-07-02T19:02:18Z) - SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。
SCANには4つの重要なコンポーネントが含まれている。
TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。
RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。
PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
論文 参考訳(メタデータ) (2025-05-10T16:52:40Z) - Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
Instruct-LFはゴール指向の潜在因子発見システムである。
命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
論文 参考訳(メタデータ) (2025-02-21T02:03:08Z) - A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
著者の属性は、文書の起源または著者を特定することを目的としている。
大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。
IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
論文 参考訳(メタデータ) (2024-10-29T04:14:23Z) - PiCO: Peer Review in LLMs based on the Consistency Optimization [48.48819141999387]
ピアレビュー機構を用いて,大規模言語モデル(LLM)を自動的に測定する。
制約付き最適化問題として定式化し、各LLMの能力とスコアの一貫性を最大化することを目的としている。
我々はPEN, CIN, LISという3つの指標を提案し, ランク付けのギャップを評価する。
論文 参考訳(メタデータ) (2024-02-02T18:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。