論文の概要: Evaluating Large Language Models for Scientific Paper Search: Retrieval Success and Inference Latency on Mac Studio and NVIDIA A100
- arxiv url: http://arxiv.org/abs/2611.17929v1
- Date: Fri, 13 Nov 2026 09:08:17 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:26:11.186789
- Title: Evaluating Large Language Models for Scientific Paper Search: Retrieval Success and Inference Latency on Mac Studio and NVIDIA A100
- Title(参考訳): 学術論文検索のための大規模言語モデルの評価:Mac StudioとNVIDIA A100における検索成功と推論レイテンシ
- Abstract要約: 本研究では,オープンウェイトモデルが実用的な計算制約下でWeb支援紙検索をサポートできるかを検討する。
入力コンテキストがMac Studio上の512から128kトークンに増加するにつれて,まず推論遅延を特徴付ける。
次に、7つの科学リポジトリから70の論文を検索し、ドメイン知識の3つのレベルを表すクエリを用いて8つのモデルを評価する。
- 参考スコア(独自算出の注目度): 1.8853398065417313
- License:
- Abstract: Scientific literature search can benefit from locally deployed LLM assistants, which reduce reliance on hosted model providers while giving research teams greater control over their data and infrastructure. This work investigates whether open-weight models can support web-assisted paper retrieval under practical computing constraints. We first characterize inference latency as the input context grows from 512 to 128k tokens on a Mac Studio and a server equipped with two NVIDIA A100 GPUs. We then evaluate eight models on the retrieval of 70 papers from seven scientific repositories, using queries that represent three levels of domain knowledge. The results show that retrieval success depends strongly on the selected model and the specificity of the query. And that A100 GPUs are generally faster than the Mac Studio, but its unified memory allows larger models that could not be loaded in the tested GPU configuration.
- Abstract(参考訳): 科学文献検索は、ローカルにデプロイされたLLMアシスタントの恩恵を受けることができる。
本研究では,オープンウェイトモデルが実用的な計算制約下でWeb支援紙検索をサポートできるかを検討する。
入力コンテキストがMac Studioと2つのNVIDIA A100 GPUを備えたサーバ上で512から128kトークンに増加するにつれて,まず推論遅延を特徴付ける。
次に、7つの科学リポジトリから70の論文を検索し、ドメイン知識の3つのレベルを表すクエリを用いて8つのモデルを評価する。
その結果,検索成功は選択したモデルとクエリの特異性に強く依存していることがわかった。
また、A100 GPUは一般的にMac Studioよりも高速だが、その統一メモリにより、テスト済みのGPU設定にロードできない大きなモデルが可能になる。
関連論文リスト
- Plenty of Room in the Middle: Revealing Opportunities on a GPU Cluster via Fine-Grained Monitoring [6.967710669987792]
本稿では,100ms間隔で資源使用量を分析し,大学研究用GPUクラスタの詳細な研究を行う。
我々はNvidiaのDCGMライブラリを活用して、詳細な"計算利用"メトリクスをキャプチャする軽量なモニタリングツールを開発した。
論文 参考訳(メタデータ) (2026-10-26T21:56:13Z) - Local Inference of LLMs on Long Contexts: A Data Systems Perspective [2.2129910930772]
キャパシティの問題に加えて,単一ユーザを対象とした長期コンテキストモデルの提供を防止するための制限について検討する。
我々の分析は、予想通り、長期コンテキスト推論のランタイムは自己注意が支配的であることを確認した。
評価の結果,現在の自己注意構造は重要なGPUリソースを著しく過小評価していることが明らかとなった。
論文 参考訳(メタデータ) (2026-10-20T13:56:12Z) - Retrieval-Augmented Generation for Scientific Code Understanding [0.0]
本研究は,計算負荷を推論から逸脱させることで,小さなオープンソースモデルを中心に,有効な完全局所符号化エージェントを構築することができるかどうかを考察する。
我々は、高価なオフライン取り込みステージ解析、構造グラフ構築、LCM生成エンティティ説明、軽量オンライン応答ステージからの埋め込みを厳密に分離する科学的コード理解のための検索型拡張生成システム(RAG)を開発した。
論文 参考訳(メタデータ) (2026-09-10T20:28:38Z) - OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research [1.1654568410166084]
OpenLanguageModel (OLM)は、小さな言語モデルの構築と事前学習のためのオープンソースのPyTorchライブラリである。
このパッケージには、9つの親しみのあるモデルファミリにわたる27のプリセットと、LMの基礎からアーキテクチャ研究まで進歩したドキュメントが含まれている。
論文 参考訳(メタデータ) (2026-07-18T06:55:18Z) - PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding [126.15907330726067]
画像と映像の理解において透過的な研究を行うために,完全オープンかつ再現可能なフレームワークで知覚モデル(PLM)を構築することを研究する。
モデルからの蒸留なしで標準的な訓練パイプラインを分析し、大規模合成データを調べ、重要なデータギャップを識別する。
これらのギャップを埋めるために、我々は、挑戦的なビデオ理解タスクを評価するためのスイートであるPLM-VideoBenchをリリースした。
論文 参考訳(メタデータ) (2025-04-17T17:59:56Z) - Hardware and Software Platform Inference [23.416731481089254]
ハードウェアとソフトウェアプラットフォーム推論(HSPI) - 機械学習モデルの基盤となるGPUアーキテクチャとソフトウェアスタックを特定する方法を紹介する。
この結果から,ブラックボックスモデルからGPU型を推定できる可能性が示唆された。
論文 参考訳(メタデータ) (2024-11-07T21:44:04Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳(メタデータ) (2024-07-16T17:58:27Z) - Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
スケーリング法則は、言語モデルのサイズと能力の関係を記述している。
我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。
7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
論文 参考訳(メタデータ) (2024-04-08T11:11:31Z) - FlexGen: High-Throughput Generative Inference of Large Language Models
with a Single GPU [89.2451963569343]
FlexGenは、単一のコモディティGPU上で大きな言語モデル(LLM)推論を実行するための世代エンジンである。
1つの16GB GPU上でOPT-175Bを実行する場合、FlexGenは最先端のオフロードシステムに比べてスループットが大幅に向上する。
HELMベンチマークでは、FlexGenは7つの代表サブシナリオに16GBのGPUで30Bモデルを21時間でベンチマークすることができる。
論文 参考訳(メタデータ) (2023-03-13T05:19:28Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳(メタデータ) (2020-09-04T15:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。