論文の概要: LLaMP: Large Language Model Made Powerful for High-fidelity Materials
Knowledge Retrieval and Distillation
- arxiv url: http://arxiv.org/abs/2401.17244v1
- Date: Tue, 30 Jan 2024 18:37:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 13:41:08.722372
- Title: LLaMP: Large Language Model Made Powerful for High-fidelity Materials
Knowledge Retrieval and Distillation
- Title（参考訳）: LLaMP:高忠実度材料知識検索と蒸留のための大規模言語モデル
- Authors: Yuan Chiang, Chia-Hong Chou, Janosh Riebesell
- Abstract要約: 材料プロジェクトにおけるデータと相互作用するデータ認識推論・アクション(RAG)エージェントのフレームワークであるLLaMPを紹介する。
微調整なしで、LLaMPは材料科学の概念の様々なモダリティを理解し、統合する能力を示す。
我々は,この枠組みが科学的仮説の貴重な構成要素であり,将来の自律実験施設の基礎となると想定している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reducing hallucination of Large Language Models (LLMs) is imperative for use
in the sciences where reproducibility is crucial. However, LLMs inherently lack
long-term memory, making it a nontrivial, ad hoc, and inevitably biased task to
fine-tune them on domain-specific literature and data. Here we introduce LLaMP,
a multimodal retrieval-augmented generation (RAG) framework of multiple
data-aware reasoning-and-acting (ReAct) agents that dynamically interact with
computational and experimental data on Materials Project (MP). Without
fine-tuning, LLaMP demonstrates an ability to comprehend and integrate various
modalities of materials science concepts, fetch relevant data stores on the
fly, process higher-order data (such as crystal structures and elastic
tensors), and summarize multi-step procedures for solid-state synthesis. We
show that LLaMP effectively corrects errors in GPT-3.5's intrinsic knowledge,
reducing a 5.21% MAPE on frequently-documented bandgaps and a significant
1103.54% MAPE on formation energies -- errors that GPT-3.5 seems to derive from
mixed data sources. Additionally, LLaMP substantially reduces the hallucinated
volumetric strain in a diamond cubic silicon structure from 66.3% to 0. The
proposed framework offers an intuitive and nearly hallucination-free approach
to exploring materials informatics and establishes a pathway for knowledge
distillation and fine-tuning other language models. We envision the framework
as a valuable component for scientific hypotheses and a foundation for future
autonomous laboratories where multiple LLM agents communicate and cooperate
with robotics to drive material synthesis and chemical reactions without
hard-coded human logic and intervention.
- Abstract（参考訳）: 大言語モデル(LLM)の幻覚の低減は再現性が不可欠である科学において必要不可欠である。
しかし、llmには本質的に長期記憶が欠如しており、ドメイン固有の文献やデータでそれらを微調整する非自明でアドホックで必然的に偏ったタスクとなっている。
本稿では,材料プロジェクト (mp) 上の計算および実験データと動的に相互作用する複数のデータ認識推論・実行 (react) エージェントのマルチモーダル検索型生成 (rag) フレームワークである llamp を紹介する。
微調整なしで、LLaMPは材料科学の概念の様々なモダリティを理解し統合し、関連するデータストアをフライで取得し、高次データ(結晶構造や弾性テンソルなど)を処理し、固体合成のための多段階の手順を要約する能力を示す。
LLaMPはGPT-3.5の内在的知識の誤りを効果的に補正し、頻繁に文書化されたバンドギャップでは5.21%のMAPEを減少させ、生成エネルギーでは1103.54%のMAPEを減少させる。
加えて、LLaMPはダイヤモンド立方体シリコン構造の幻覚体積ひずみを66.3%から0。
提案するフレームワークは,資料情報学を探求するための直感的かつほとんど幻覚のないアプローチを提供し,知識の蒸留と他の言語モデルの微調整のための経路を確立する。
我々は、このフレームワークを科学的仮説の貴重なコンポーネントとして想定し、複数のLLMエージェントがロボットと通信し協力し、人間の論理や介入をハードコードせずに物質合成と化学反応を駆動する未来の自律研究所の基盤となる。
関連論文リスト
- Federated In-Context LLM Agent Learning [3.4757641432843487]
大規模言語モデル(LLM)は、論理的推論、ツールの使用、エージェントとしての外部システムとの相互作用を可能にすることによって、インテリジェントなサービスに革命をもたらした。
本稿では,プライバシ保護型フェデレーション・イン・コンテクスト LLM Agent Learning (FICAL) アルゴリズムを提案する。
その結果、FICALは、他のSOTAベースラインと比較して競争性能が優れており、通信コストの大幅な削減は、$mathbf3.33times105$倍であることがわかった。
論文 参考訳（メタデータ） (2024-12-11T03:00:24Z) - Can a Large Language Model Learn Matrix Functions In Context? [3.7478782183628634]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を通じて複雑なタスクを解く能力を実証した。
本稿では,LLMの非線形数値計算能力について検討し,特異値分解関数に着目した。
論文 参考訳（メタデータ） (2024-11-24T00:33:43Z) - RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。
検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。
本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文 参考訳（メタデータ） (2024-10-18T03:45:19Z) - Improving the Ability of Pre-trained Language Model by Imparting Large Language Model's Experience [4.814313782484443]
大規模言語モデル (LLM) と事前訓練型言語モデル (LM) は多くのソフトウェア工学のタスクにおいて驚くべき成功を収めた。
我々は、LLMを用いてドメイン固有のデータを生成し、目標タスクにおける事前学習されたLMの性能を向上させる。
論文 参考訳（メタデータ） (2024-08-16T06:37:59Z) - MLLM Is a Strong Reranker: Advancing Multimodal Retrieval-augmented Generation via Knowledge-enhanced Reranking and Noise-injected Training [9.023648972811458]
RagVLは、知識強化されたリグレードとノイズ注入トレーニングを備えた、新しいフレームワークである。
我々はMLLMに簡単な命令テンプレートを付与し、そのランク付け能力を誘導する。
例えば、データとトークンレベルでのトレーニング中に視覚ノイズを注入して、ジェネレータの堅牢性を高める。
論文 参考訳（メタデータ） (2024-07-31T08:43:17Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-09-13T04:06:47Z) - Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。
本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
論文 参考訳（メタデータ） (2023-08-21T04:31:06Z) - Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。
このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
論文 参考訳（メタデータ） (2023-05-24T01:46:07Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。