論文の概要: Comparing Retrieval Methods for Academic Advisor Discovery: A Six-Method Study of 768 CS Faculty Profiles Across 9 US Universities
- arxiv url: http://arxiv.org/abs/2609.03901v1
- Date: Thu, 03 Sep 2026 14:19:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.103176
- Title: Comparing Retrieval Methods for Academic Advisor Discovery: A Six-Method Study of 768 CS Faculty Profiles Across 9 US Universities
- Title（参考訳）: アカデミック・アドバイザ・ディスカバリーのための検索手法の比較:米国大学9校を対象にした768 CS学部プロファイルの6方法の検討
- Abstract要約: メソッドは、スパース語彙マッチング、TF-IDF、BM25、密接なセマンティック検索、ハイブリッドスコア融合、学習 to rankにまたがる。
本稿では,6つの情報検索手法の比較評価を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a comparative evaluation of six information retrieval methods for the task of academic advisor discovery: ranking CS faculty members by relevance to a graduate applicant's research interest statement. The methods span sparse lexical matching (Jaccard overlap, TF-IDF, BM25), dense semantic retrieval (all-MiniLM-L6-v2 sentence embeddings), hybrid score fusion, and learning-to-rank. Evaluation uses a new domain-specific collection: 768 faculty profiles scraped from 9 US CS departments, with 162 graded relevance judgments (grade 0/1/2) across 5 queries representing distinct graduate student research profiles. Across all five queries, Reranked achieves the highest mean NDCG@10 (0.477, std 0.138), followed by Semantic (0.450), Hybrid (0.421), BM25 (0.406), Jaccard (0.303), and TF-IDF (0.246). After Bonferroni correction across all 15 pairwise comparisons, TF-IDF is significantly worse than BM25, Semantic, Hybrid, and Reranked; no other pairwise difference survives correction at 5 queries. A field ablation reveals that biography alone (NDCG 0.634) outperforms the full model combining biography with research area tags (0.593). A controlled experiment shows that concatenating arXiv paper abstracts reduces NDCG@10 by 0.176, motivating a late-fusion architecture. All code, scrapers, and relevance labels are released openly.
- Abstract（参考訳）: そこで本研究では,CS の教員を対象とした6つの情報検索手法の比較評価を行った。
これらの手法は、スパースレキシカルマッチング(Jaccard overlap, TF-IDF, BM25)、高密度セマンティック検索(All-MiniLM-L6-v2文埋め込み)、ハイブリッドスコア融合、ラーニング・トゥ・ランクにまたがる。
評価は、9つの米国CS部門から抽出された768の教員プロファイルと、162のグレードの関連判断(グレード0/1/2)を5つのクエリに分けて、異なる大学生の研究プロファイルを表す。
5つのクエリの中で、Reranked は NDCG@10 (0.477, std 0.138)、Semantic (0.450), Hybrid (0.421), BM25 (0.406), Jaccard (0.303), TF-IDF (0.246) が続く。
15対比較でボフェロニ補正を行った後、TF-IDFはBM25、Semantic、Hybrid、Rerankedよりも著しく悪化し、5つのクエリで補正が残っている。
フィールドアブレーションは、バイオグラフィーのみ(NDCG 0.634)が、研究領域タグ(0.593)と組み合わせた完全なモデルよりも優れていることを明らかにしている。
制御された実験により、arXiv の紙を抽象化することで NDCG@10 が0.176 減少し、遅延融合アーキテクチャを動機付けることが示された。
すべてのコード、スクレイパー、関連ラベルが公開されています。
関連論文リスト
- BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。
Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
論文 参考訳（メタデータ） (2026-08-09T15:32:16Z) - Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG [45.88028371034407]
マルチモーダル検索拡張生成(RAG)はクリーンなエビデンスで評価されることが多いが、真の検索は、トポロジー的に関係があるが信頼できないコンテンツを返すことができる。
本稿では,多文事実QAにおけるマルチモーダル検索汚染のベンチマークであるQIMG-7を紹介する。
そこで本研究では,Parametric, Text-only, Full-MM の候補解と比較した学習自由な手法として,SATRを提案する。
論文 参考訳（メタデータ） (2026-07-12T15:13:09Z) - SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking [3.969046654861534]
SciClaimSeekersは検索および再ランクフレームワークである。
BM25とゼロショット多言語E5検索とReciprocal Rank Fusionを組み合わせたシステムである。
我々の実験は、大きな事前訓練されたモデルが、注意深いパイプラインに組み合わされると、このタスクで競合する可能性があることを示唆している。
論文 参考訳（メタデータ） (2026-07-06T16:36:46Z) - Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning [0.0]
ノベルティ・アウェア・リサーチ・エージェント(英: Novelty-Aware Research Agent)は、エージェント検索システムのプロトタイプである。
RAGパイプライン上の多段階推論を6つのタイプドコントラクトコンポーネントを通じて階層化する。
論文毎のコントリビューション記録、紙レベルのオーバーラップ、問題xメソッドギャップマトリックスなど、構造化された比較アーティファクトを生成する。
論文 参考訳（メタデータ） (2026-06-20T17:04:02Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Benchmarking Retrieval Strategies for Biomedical Retrieval-Augmented Generation: A Controlled Empirical Study [0.0]
本稿では,生物医学的質問応答RAGパイプラインにおける5つの検索戦略の体系的比較について述べる。
すべての戦略は固定生成モデル(GPT-4o-mini)、共通ベクトルストア(ChromaDB)、OpenAIのテキスト-em-3-小埋め込みを共有している。
BioASQベンチマークの前処理部分集合から抽出した250の質問応答対について評価を行った。
論文 参考訳（メタデータ） (2026-05-04T12:21:46Z) - vstash: Local-First Hybrid Retrieval with Adaptive Fusion for LLM Agents [0.0]
ベクトル類似性検索と全文キーワードマッチングを組み合わせたローカルファーストの文書メモリシステム**vstash**を提案する。
すべてのデータはsqlite-vecを使って近傍の検索に近づき、FTS5でキーワードマッチングを行う単一のファイルに格納される。
論文 参考訳（メタデータ） (2026-04-16T19:22:58Z) - Evaluating Hybrid Retrieval Augmented Generation using Dynamic Test Sets: LiveRAG Challenge [8.680958290253914]
本稿では,動的テストセット上での検索強化生成システム(RAG)の評価を行うLiveRAG Challenge 2025を提案する。
我々の最後のハイブリッドアプローチはスパース (BM25) と高密度 (E5) の検索手法を組み合わせたものである。
RankLLaMA を用いたニューラルリランクでは MAP は0.523 から 0.797 に向上するが,計算コストは禁忌である。
論文 参考訳（メタデータ） (2025-06-27T21:20:43Z) - Escaping the SpuriVerse: Can Large Vision-Language Models Generalize Beyond Seen Spurious Correlations? [37.703287009808896]
微調整は、非重要特徴とターゲットラベルの間に急激な相関を引き起こす可能性がある。
実世界の視覚探索探索(VQA)ベンチマークにおいて,GPT-4oエラーを抽出してベンチマークを作成する。
SpuriVerse上で15のオープンソースLVLMを評価し、最先端のクローズドソースモデルでもかなり苦労していることを発見した。
論文 参考訳（メタデータ） (2025-06-23T06:11:43Z) - Better May Not Be Fairer: A Study on Subgroup Discrepancy in Image
Classification [73.87160347728314]
CIFAR10とCIFAR100のテストセットを各画像の背景色に基づいてサブグループにアノテートすることで、自然背景色が刺激的な特徴としてどのように機能するかを検討する。
全体としての人間レベルの精度は、一貫したサブグループ性能を保証せず、この現象はImageNetで事前訓練されたモデルやデータ拡張後のモデルでも継続している。
実験の結果,FlowAugはCIFAR10/100およびCIFAR10/100-C上で,他のDA法よりも一貫したサブグループ結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-12-16T18:51:10Z) - SLEDGE-Z: A Zero-Shot Baseline for COVID-19 Literature Search [40.443716693689794]
新型コロナウイルス関連の科学的文献に適応するゼロショットランキングアルゴリズムを提案する。
TREC-COVIDデータに依存しないにもかかわらず、我々の手法はモデルよりも優れています。
論文 参考訳（メタデータ） (2020-10-12T19:28:29Z) - Automatic sleep stage classification with deep residual networks in a
mixed-cohort setting [63.52264764099532]
我々は,大規模コホートの一般化性を評価するために,新しいディープニューラルネットワークモデルを開発した。
総合的な分類精度はトレーニングデータの分数を増やして向上した。
論文 参考訳（メタデータ） (2020-08-21T10:48:35Z) - CO-Search: COVID-19 Information Retrieval with Semantic Search, Question
Answering, and Abstractive Summarization [53.67205506042232]
CO-Searchは、新型コロナウイルスの文献上の複雑なクエリを処理するように設計された、レトリバーランサーセマンティック検索エンジンである。
ドメイン固有の比較的限られたデータセットを考慮し、文書の段落と引用の2部グラフを生成する。
TREC-COVID情報検索課題のデータに基づいて,本システムの評価を行った。
論文 参考訳（メタデータ） (2020-06-17T01:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。