論文の概要: Testing LLM performance on the Physics GRE: some observations
- arxiv url: http://arxiv.org/abs/2312.04613v1
- Date: Thu, 7 Dec 2023 17:33:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 17:44:43.364306
- Title: Testing LLM performance on the Physics GRE: some observations
- Title(参考訳): 物理GREにおけるLCM性能試験:いくつかの観察
- Authors: Pranav Gupta
- Abstract要約: 本稿では,Google が提供している LLM ベースの会話サービス Bard の性能を標準化された物理 GRE 試験で要約し,解析する。
- 参考スコア(独自算出の注目度): 1.3597551064547502
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: With the recent developments in large language models (LLMs) and their
widespread availability through open source models and/or low-cost APIs,
several exciting products and applications are emerging, many of which are in
the field of STEM educational technology for K-12 and university students.
There is a need to evaluate these powerful language models on several
benchmarks, in order to understand their risks and limitations. In this short
paper, we summarize and analyze the performance of Bard, a popular LLM-based
conversational service made available by Google, on the standardized Physics
GRE examination.
- Abstract(参考訳): 大規模言語モデル(LLMs)の最近の発展と、オープンソースモデルや/または低コストAPIによる広範囲な利用により、いくつかのエキサイティングな製品やアプリケーションが登場し、その多くがK-12や大学生のためのSTEM教育技術分野にある。
リスクや制限を理解するために、これらの強力な言語モデルをいくつかのベンチマークで評価する必要がある。
本稿では,Google が提供している LLM ベースの会話サービス Bard の性能を標準化された物理 GRE 試験で要約し,解析する。
関連論文リスト
- A Review of Multi-Modal Large Language and Vision Models [1.9685736810241874]
大規模言語モデル(LLM)が研究と応用の焦点として登場した。
近年、LLMはマルチモーダル大言語モデル(MM-LLM)に拡張されている。
本稿では,近年のMM-LLMとともに,マルチモーダル機能を有するLLMの現状を概観する。
論文 参考訳(メタデータ) (2024-03-28T15:53:45Z) - Linguistic Intelligence in Large Language Models for Telecommunications [5.06945923921948]
自然言語処理(NLP)分野において,Large Language Models (LLMs) が大きな進歩を遂げている。
本研究は,電気通信分野におけるLLMの知識と理解能力を評価することを目的とする。
評価の結果,ゼロショットLLMは現状の細調整モデルに匹敵する性能を達成できることがわかった。
論文 参考訳(メタデータ) (2024-02-24T14:01:07Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Exploring the Reasoning Abilities of Multimodal Large Language Models
(MLLMs): A Comprehensive Survey on Emerging Trends in Multimodal Reasoning [44.12214030785711]
マルチモーダル大言語モデル(MLLM)のフロンティアを分類・記述し、既存のマルチモーダル推論の評価プロトコルについて概観する。
本稿では,MLLMの推論集約型タスクへの適用動向を紹介するとともに,現在の実践と今後の方向性について論じる。
論文 参考訳(メタデータ) (2024-01-10T15:29:21Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳(メタデータ) (2024-01-04T11:27:48Z) - A Performance Evaluation of a Quantized Large Language Model on Various
Smartphones [0.0]
本稿では,Apple iPhoneの様々なモデルに対するデバイス上での大規模言語モデル (LLM) 推論の実現可能性と性能について検討する。
資源制限装置上でのマルチビリオンパラメータLDMの動作に関する既存文献を活用し, 高性能LCMの熱的効果と相互作用速度について検討した。
実世界のパフォーマンス結果を提示し、デバイス上での推論機能に関する洞察を提供する。
論文 参考訳(メタデータ) (2023-12-19T10:19:39Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳(メタデータ) (2023-11-13T15:08:59Z) - NuclearQA: A Human-Made Benchmark for Language Models for the Nuclear
Domain [0.0]
NuclearQAは、核領域における言語モデルを評価するための100の質問の人為的なベンチマークである。
さまざまな種類の質問が混ざり合わさって、我々のベンチマークが核領域のモデルを評価することをユニークなものにしていることを示す。
論文 参考訳(メタデータ) (2023-10-17T01:27:20Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - A Survey on Large Language Models for Recommendation [80.01023231943205]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳(メタデータ) (2023-05-31T13:51:26Z) - BLOOM: A 176B-Parameter Open-Access Multilingual Language Model [264.96498474333697]
大規模言語モデル(LLM)は、いくつかのデモや自然言語命令に基づいて新しいタスクを実行できることが示されている。
BLOOMは、176Bパラメータのオープンアクセス言語モデルであり、数百人の研究者の協力により設計・構築されている。
BLOOMは、RATSコーパスでトレーニングされたデコーダのみのトランスフォーマー言語モデルである。
論文 参考訳(メタデータ) (2022-11-09T18:48:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。