論文の概要: AMGPT: a Large Language Model for Contextual Querying in Additive Manufacturing
- arxiv url: http://arxiv.org/abs/2406.00031v1
- Date: Fri, 24 May 2024 20:03:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-09 16:09:32.339120
- Title: AMGPT: a Large Language Model for Contextual Querying in Additive Manufacturing
- Title（参考訳）: AMGPT: 付加生産における文脈クエリのための大規模言語モデル
- Authors: Achuth Chandrasekhar, Jonathan Chan, Francis Ogoke, Olabode Ajenifujah, Amir Barati Farimani,
- Abstract要約: AMGPTは、金属添加物製造クエリ用に設計された特殊なLCMテキストジェネレータである。
我々は、スクラッチからトレーニングする代わりに、Hugging Faceからトレーニング済みのLlama2-7BモデルをRetrieval-Augmented Generation (RAG)セットアップで採用する。
- 参考スコア（独自算出の注目度）: 8.799005406006287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalized large language models (LLMs) such as GPT-4 may not provide specific answers to queries formulated by materials science researchers. These models may produce a high-level outline but lack the capacity to return detailed instructions on manufacturing and material properties of novel alloys. Enhancing a smaller model with specialized domain knowledge may provide an advantage over large language models which cannot be retrained quickly enough to keep up with the rapid pace of research in metal additive manufacturing (AM). We introduce "AMGPT," a specialized LLM text generator designed for metal AM queries. The goal of AMGPT is to assist researchers and users in navigating the extensive corpus of literature in AM. Instead of training from scratch, we employ a pre-trained Llama2-7B model from Hugging Face in a Retrieval-Augmented Generation (RAG) setup, utilizing it to dynamically incorporate information from $\sim$50 AM papers and textbooks in PDF format. Mathpix is used to convert these PDF documents into TeX format, facilitating their integration into the RAG pipeline managed by LlamaIndex. Expert evaluations of this project highlight that specific embeddings from the RAG setup accelerate response times and maintain coherence in the generated text.
- Abstract（参考訳）: GPT-4のような一般化された大規模言語モデル(LLM)は、材料科学研究者によるクエリに対する具体的な回答を提供しない。
これらのモデルは高レベルなアウトラインを生み出すが、新規合金の製造と材料特性に関する詳細な指示を返す能力は欠如している。
専門的なドメイン知識を持つ小さなモデルを強化することは、金属添加物製造(AM)の急速な研究のペースに追従するのに十分な速さで再訓練できない大きな言語モデルに対して利点をもたらす可能性がある。
金属AMクエリ用に設計された特殊なLLMテキストジェネレータである"AMGPT"を紹介する。
AMGPTの目標は、研究者やユーザーがAMの広範な文献のコーパスをナビゲートすることを支援することである。
スクラッチからトレーニングする代わりに、Hugging Faceからトレーニング済みのLlama2-7BモデルをRetrieval-Augmented Generation (RAG)セットアップで採用し、$\sim$50 AMの論文や教科書をPDF形式で動的に組み込む。
MathpixはこれらのPDF文書をTeXフォーマットに変換するために使われ、LlamaIndexが管理するRAGパイプラインへの統合を容易にする。
このプロジェクトのエキスパート評価では、RAGセットアップからの特定の埋め込みが応答時間を加速し、生成されたテキストのコヒーレンスを維持することを強調している。
関連論文リスト
- Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation [28.568010424711563]
大規模言語モデル(LLM)は、パラメトリックな知識が限られ、ドメイン固有の専門知識が欠如しているため、幻覚に弱いままである。
Retrieval-Augmented Generation (RAG)は、LLMの知識基盤を強化するために外部文書検索を組み込むことによって、この問題に対処する。
発電機に供給する前に外部の知識ソースを洗練するためのコンパクトで効率的でプラガブルなモジュールを導入する。
論文 参考訳（メタデータ） (2025-02-18T16:38:39Z) - Retrieval-Augmented Machine Translation with Unstructured Knowledge [74.84236945680503]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を強化するために追加情報を導入する
機械翻訳(MT)では、従来の研究は通常、ペア化されたMTコーパスや知識グラフからコンテキスト内例を検索する。
本稿では,非構造化文書を用いた検索強化MTについて検討する。
論文 参考訳（メタデータ） (2024-12-05T17:00:32Z) - Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report [3.4632900249241874]
本稿では,PDF文書を主データ源とする検索拡張生成システム(RAG)の開発経験報告について述べる。
RAGアーキテクチャは、Large Language Models (LLM) の生成能力と情報検索の精度を組み合わせたものである。
この研究の実際的な意味は、様々な分野における生成AIシステムの信頼性を高めることである。
論文 参考訳（メタデータ） (2024-10-21T12:21:49Z) - Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。
2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。
LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文 参考訳（メタデータ） (2024-10-08T15:22:36Z) - Enhancing Large Language Models with Domain-Specific Knowledge: The Case in Topological Materials [4.654635844923322]
大規模言語モデル (LLM) はテキスト生成タスクにおいて顕著な性能を示した。
TopoChatと呼ばれるトポロジカル材料のための対話システムを開発した。
TopoChatは、構造およびプロパティクエリ、マテリアルレコメンデーション、複雑なリレーショナル推論において優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-09-10T06:01:16Z) - Exploring Advanced Large Language Models with LLMsuite [1.2058143465239939]
このチュートリアルでは、大規模言語モデルの開発における進歩と課題について説明する。
Retrieval Augmented Generation (RAG)、Program-Aided Language Models (PAL)、ReActやLangChainといったフレームワークなどのソリューションを提案する。
論文 参考訳（メタデータ） (2024-07-01T05:37:17Z) - UniRAG: Universal Retrieval Augmentation for Multi-Modal Large Language Models [76.30799731147589]
そこで,UniRAGというプラグイン・アンド・プレイ技術を紹介した。
一般のエンティティを用いたMSCOCOデータセットによる評価結果から,GPT-4oやGemini-Proといったプロプライエタリモデルも,UniIRモデルのようなMMレトリバーが取得した関連情報を用いて入力プロンプトを拡張した場合,生成品質を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2024-05-16T17:58:45Z) - A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。
Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。
RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文 参考訳（メタデータ） (2024-05-10T02:48:45Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。
Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。
実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2023-09-16T11:31:58Z) - Accelerated materials language processing enabled by GPT [5.518792725397679]
我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。
まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。
第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。
最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
論文 参考訳（メタデータ） (2023-08-18T07:31:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。