Fugu-MT 論文翻訳(概要): Quokka: An Open-source Large Language Model ChatBot for Material Science

論文の概要: Quokka: An Open-source Large Language Model ChatBot for Material Science

arxiv url: http://arxiv.org/abs/2401.01089v1
Date: Tue, 2 Jan 2024 08:14:48 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 14:21:41.270987
Title: Quokka: An Open-source Large Language Model ChatBot for Material Science
Title（参考訳）: Quokka: 物質科学のためのオープンソースの大規模言語モデルチャットボット
Authors: Xianjun Yang, Stephen D. Wilson, Linda Petzold
Abstract要約: 本稿では,材料科学のための特殊なチャットボットの開発について述べる。この方法論は、100万以上のドメイン特化論文を事前訓練する段階を含む。トレーニングされた4つのチェックポイントは、リサーチコミュニティのhttps://github.com/Xianjun-Yang/Quokka.comで無償公開しています。
参考スコア（独自算出の注目度）: 14.48214929380849
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper presents the development of a specialized chatbot for materials science, leveraging the Llama-2 language model, and continuing pre-training on the expansive research articles in the materials science domain from the S2ORC dataset. The methodology involves an initial pretraining phase on over one million domain-specific papers, followed by an instruction-tuning process to refine the chatbot's capabilities. The chatbot is designed to assist researchers, educators, and students by providing instant, context-aware responses to queries in the field of materials science. We make the four trained checkpoints (7B, 13B, with or without chat ability) freely available to the research community at https://github.com/Xianjun-Yang/Quokka.
Abstract（参考訳）: 本稿では,材料科学専門のチャットボットの開発,Llama-2言語モデルの利用,S2ORCデータセットからの材料科学領域における研究論文の事前学習について述べる。この方法論は、100万以上のドメイン固有論文の最初の事前学習フェーズと、チャットボットの能力を洗練するためのインストラクションチューニングプロセスを含む。チャットボットは、材料科学の分野の質問に対して、即座にコンテキスト認識の応答を提供することで、研究者、教育者、学生を支援するように設計されている。 4つのトレーニング済みチェックポイント(7b, 13b, with without chat ability)を、https://github.com/xianjun-yang/quokka.comのリサーチコミュニティに無料で提供しています。

関連論文リスト

Comparing the Utility, Preference, and Performance of Course Material Search Functionality and Retrieval-Augmented Generation Large Language Model (RAG-LLM) AI Chatbots in Information-Seeking Tasks [2.377308748205625]
本研究の目的は,最近の大規模言語モデル(LLM)を学生支援機構として活用することであった。実験室で実施したユーザスタディでは、参加者がWebソフトウェア開発コースのタスクに取り組みました。以上の結果から,どちらの支援機構も有用であり,特定のタスクでは有効であるが,他のタスクではあまり役に立たないことが明らかとなった。
論文参考訳（メタデータ） (2024-10-17T08:37:25Z)
Language Models as Science Tutors [79.73256703631492]
本研究では,LMの現実的なユーザビリティを科学的アシスタントとして測定するTutorEvalとTutorChatを紹介する。既存の対話データセットを用いた微調整ベースモデルがTutorEvalの性能を低下させることを示す。我々はTutorChatを用いて、7Bパラメータと34Bパラメータを持つLlemmaモデルを微調整する。これらのLMチューターは32Kのコンテキストウィンドウを持ち、GSM8KとMATHに強く依存しながらTutorEvalで優れている。
論文参考訳（メタデータ） (2024-02-16T22:24:13Z)
Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research [139.69207791947738]
ドルマ (Dolma) は、ウェブコンテンツ、科学論文、コード、パブリックドメインの書籍、ソーシャルメディア、百科事典の素材を多用した3トリルの英語コーパスである。我々はDolmaの設計原則、その構築の詳細、内容の要約を含む、Dolmaを文書化します。我々は、重要なデータキュレーションの実践について学んだことを共有するために、Dolmaの中間状態の分析と実験結果を示す。
論文参考訳（メタデータ） (2024-01-31T20:29:50Z)
Deep Learning Based Amharic Chatbot for FAQs in Universities [0.0]
本稿では,アムハラ語の質問(FAQ)に頻繁に答えるモデルを提案する。提案プログラムでは, トークン化, 停止語除去, ステーミングを用いて, アムハラ語入力文の分析と分類を行う。このモデルはFacebook Messengerに統合され、Herokuサーバに24時間のアクセシビリティとしてデプロイされた。
論文参考訳（メタデータ） (2024-01-26T18:37:21Z)
A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest [62.63606958140248]
大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
論文参考訳（メタデータ） (2023-11-17T16:09:10Z)
Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
論文参考訳（メタデータ） (2021-10-15T14:36:45Z)
Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文参考訳（メタデータ） (2021-03-30T15:24:37Z)
TruthBot: An Automated Conversational Tool for Intent Learning, Curated Information Presenting, and Fake News Alerting [12.95006904081387]
TruthBotは、特定のトピックに関する真理(信頼できる、検証された情報)を求めるように設計されている。特定のトピックに特有の情報を取得し、ファクトチェック情報を取得し、最新のニュースを得るのに役立つ。 TruthBotは2020年6月にデプロイされ、現在運用中である。
論文参考訳（メタデータ） (2021-01-31T18:23:05Z)
Developing FB Chatbot Based on Deep Learning Using RASA Framework for University Enquiries [0.0]
この研究は、かなり十分なシミュレートデータの中での第1段階の開発である。この概念は、最近の技術で発展している社会では、新しいものではない。これはFB利用者がインドネシア全人口の60.8%に達しているためである。
論文参考訳（メタデータ） (2020-09-25T17:01:19Z)
Chatbot: A Conversational Agent employed with Named Entity Recognition Model using Artificial Neural Network [0.0]
自然言語理解(NLU)はディープラーニングによって著しく改善されている。本研究では、データセットのNLUサービスに統合可能な名前付きエンティティ認識(NER)モデルに焦点を当てる。提案アーキテクチャのNERモデルは、手動で作成したエンティティに基づいてトレーニングされた人工ニューラルネットワークに基づいている。
論文参考訳（メタデータ） (2020-06-19T14:47:21Z)
Conversations with Search Engines: SERP-based Conversational Response Generation [77.1381159789032]
我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。 CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
論文参考訳（メタデータ） (2020-04-29T13:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。