論文の概要: Xiwu: A Basis Flexible and Learnable LLM for High Energy Physics
- arxiv url: http://arxiv.org/abs/2404.08001v1
- Date: Mon, 8 Apr 2024 07:37:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 16:54:09.380897
- Title: Xiwu: A Basis Flexible and Learnable LLM for High Energy Physics
- Title(参考訳): Xiwu:高エネルギー物理のための柔軟な学習可能なLCM
- Authors: Zhengde Zhang, Yiyu Zhang, Haodong Yao, Jianwen Luo, Rui Zhao, Bo Huang, Jiameng Zhao, Yipu Liao, Ke Li, Lina Zhao, Jun Cao, Fazhi Qi, Changzheng Yuan,
- Abstract要約: 大規模言語モデル(LLM)は、急激な更新と変更の期間を経ている。
モデル自体を前進させながら、ユニークなドメイン知識を取得することは困難です。
Xiwuという名前の高度な大規模言語モデルシステムが開発され、最も先進的な基礎モデルの切り替えが可能になった。
- 参考スコア(独自算出の注目度): 8.483323041108774
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) are undergoing a period of rapid updates and changes, with state-of-the-art (SOTA) model frequently being replaced. When applying LLMs to a specific scientific field, it's challenging to acquire unique domain knowledge while keeping the model itself advanced. To address this challenge, a sophisticated large language model system named as Xiwu has been developed, allowing you switch between the most advanced foundation models and quickly teach the model domain knowledge. In this work, we will report on the best practices for applying LLMs in the field of high-energy physics (HEP), including: a seed fission technology is proposed and some data collection and cleaning tools are developed to quickly obtain domain AI-Ready dataset; a just-in-time learning system is implemented based on the vector store technology; an on-the-fly fine-tuning system has been developed to facilitate rapid training under a specified foundation model. The results show that Xiwu can smoothly switch between foundation models such as LLaMA, Vicuna, ChatGLM and Grok-1. The trained Xiwu model is significantly outperformed the benchmark model on the HEP knowledge question-and-answering and code generation. This strategy significantly enhances the potential for growth of our model's performance, with the hope of surpassing GPT-4 as it evolves with the development of open-source models. This work provides a customized LLM for the field of HEP, while also offering references for applying LLM to other fields, the corresponding codes are available on Github.
- Abstract(参考訳): 大規模言語モデル(LLM)は急激な更新と変更の期間にあり、SOTA(State-of-the-art)モデルを頻繁に置き換えている。
LLMを特定の科学分野に適用する場合、モデル自体を前進させながら独自のドメイン知識を取得することは困難です。
この課題に対処するため、Xiwuという名前の洗練された大規模言語モデルシステムが開発され、最も高度な基礎モデルの切り替えを可能にし、モデルドメインの知識を素早く教えることができる。
本稿では,LLMを高エネルギー物理(HEP)分野に適用するためのベストプラクティスについて報告する。例えば,シードフィッション技術を提案し,いくつかのデータ収集・クリーニングツールを開発し,ドメインAI-Readyデータセットを迅速に取得し,ベクトルストア技術に基づいてジャストインタイム学習システムを実装した。
その結果、XiwuはLLaMA、Vicuna、ChatGLM、Grok-1といった基礎モデルの切り替えを円滑に行うことができた。
訓練されたXiwuモデルは、HEP知識質問およびコード生成のベンチマークモデルよりも大幅に優れています。
この戦略は,オープンソースモデルの発展とともに,GPT-4を超越して,我々のモデルの性能向上の可能性を大幅に向上させる。
この作業は、HEPのフィールド用にカスタマイズされたLLMを提供し、他のフィールドにLLMを適用するためのリファレンスを提供する。
関連論文リスト
- When Life gives you LLMs, make LLM-ADE: Large Language Models with Adaptive Data Engineering [0.0]
LLM-ADEは、大規模言語モデルのトレーニングを継続するための方法論である。
それは破滅的な忘れと二重降下の課題に対処する。
これは、以前に取得した知識を保持しながら、新しいデータに対するモデル適応性を高める。
論文 参考訳(メタデータ) (2024-04-19T17:43:26Z) - Large Language Model Supply Chain: A Research Agenda [5.1875389249043415]
LLM (Large Multimodal Models) とLMM (Large Multimodal Models) は、新しいインテリジェントアプリケーション時代を支えている。
本稿では,LLMサプライチェーンの概要を概説し,その3つの中核要素を概説する。
論文 参考訳(メタデータ) (2024-04-19T09:29:53Z) - Enhancing Code Generation Performance of Smaller Models by Distilling the Reasoning Ability of LLMs [36.409470894115074]
我々は、LLMのコード生成推論機能をより小さなモデルに転送することを目的としたCodePLANフレームワークを提案する。
提案手法は,APPSベンチマークにおいて,より小さなモデルのコード生成性能を130%以上向上させる。
論文 参考訳(メタデータ) (2024-03-20T03:09:54Z) - Entropy-Regularized Token-Level Policy Optimization for Large Language
Models [76.02428537504323]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
その結果,ETPO は CodeLlama-7B モデルで有効な性能向上を実現し,RLHF から受け継いだ変種 PPO ベースラインを超越していることがわかった。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Retrieval-based Knowledge Transfer: An Effective Approach for Extreme
Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。
本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-24T07:58:20Z) - Graph Neural Prompting with Large Language Models [32.97391910476073]
Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。
複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
論文 参考訳(メタデータ) (2023-09-27T06:33:29Z) - GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。
リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。
この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
論文 参考訳(メタデータ) (2021-04-07T01:08:18Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2020-11-10T19:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。