論文の概要: LLaMP: Large Language Model Made Powerful for High-fidelity Materials Knowledge Retrieval and Distillation

• arxiv url: http://arxiv.org/abs/2401.17244v3
• Date: Wed, 09 Oct 2024 20:13:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:29:17.286022
• Title: LLaMP: Large Language Model Made Powerful for High-fidelity Materials Knowledge Retrieval and Distillation
• Title（参考訳）: LLaMP:高忠実度材料知識検索と蒸留のための大規模言語モデル
• Authors: Yuan Chiang, Elvis Hsieh, Chia-Hong Chou, Janosh Riebesell,
• Abstract要約: 大規模言語モデル(LLM)は本質的に長期記憶を欠いているため、ドメイン固有の文献やデータに基づいてそれらを微調整する非自明でアドホックで必然的にバイアスのあるタスクである。 本稿では、階層的推論・実行(RAG)エージェントのフレームワークであるLLaMPを紹介し、計算および実験データと相互作用できる。 微調整なしでは、LLaMPは材料科学の概念の様々なモダリティを理解し統合する強力なツール利用能力を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Reducing hallucination of Large Language Models (LLMs) is imperative for use in the sciences, where reliability and reproducibility are crucial. However, LLMs inherently lack long-term memory, making it a nontrivial, ad hoc, and inevitably biased task to fine-tune them on domain-specific literature and data. Here we introduce LLaMP, a multimodal retrieval-augmented generation (RAG) framework of hierarchical reasoning-and-acting (ReAct) agents that can dynamically and recursively interact with computational and experimental data on Materials Project (MP) and run atomistic simulations via high-throughput workflow interface. Without fine-tuning, LLaMP demonstrates strong tool usage ability to comprehend and integrate various modalities of materials science concepts, fetch relevant data stores on the fly, process higher-order data (such as crystal structure and elastic tensor), and streamline complex tasks in computational materials and chemistry. We propose a simple metric combining uncertainty and confidence estimates to evaluate the self-consistency of responses by LLaMP and vanilla LLMs. Our benchmark shows that LLaMP effectively mitigates the intrinsic bias in LLMs, counteracting the errors on bulk moduli, electronic bandgaps, and formation energies that seem to derive from mixed data sources. We also demonstrate LLaMP's capability to edit crystal structures and run annealing molecular dynamics simulations using pre-trained machine-learning force fields. The framework offers an intuitive and nearly hallucination-free approach to exploring and scaling materials informatics, and establishes a pathway for knowledge distillation and fine-tuning other language models. Code and live demo are available at https://github.com/chiang-yuan/llamp
• Abstract（参考訳）: 大規模言語モデル(LLM)の幻覚の低減は、信頼性と再現性が不可欠である科学において必要不可欠である。 しかし、LLMは本質的に長期記憶に欠けており、ドメイン固有の文献やデータに基づいてそれらを微調整する非自明で、アドホックで、必然的にバイアスのかかるタスクである。 本稿では、階層的推論・実行(ReAct)エージェントのマルチモーダル検索拡張生成(RAG)フレームワークであるLLaMPを紹介し、材料プロジェクト(MP)上の計算および実験データと動的かつ再帰的に相互作用し、高スループットワークフローインタフェースを介して原子シミュレーションを実行する。 微調整なしでは、LLaMPは、材料科学の概念の様々なモダリティを理解し統合し、関連するデータストアをフライで取得し、高次データ(結晶構造や弾性テンソルなど)を処理し、計算材料や化学における複雑なタスクを効率化する強力なツール使用能力を示す。 LLaMPとバニラLLMによる応答の自己整合性を評価するため,不確実性と信頼度推定を組み合わせた簡易な計量法を提案する。 LLaMPは, LLMの固有バイアスを効果的に軽減し, バルク変調, 電子バンドギャップ, および混合データ源から生じると思われる生成エネルギーの誤差に対処する。 また、LLaMPの結晶構造を編集し、事前学習された機械学習力場を用いてアニーリング分子動力学シミュレーションを実行する能力を実証する。 このフレームワークは、情報材料を探索しスケーリングするための直感的でほとんど幻覚のないアプローチを提供し、知識の蒸留と他の言語モデルを微調整するための経路を確立する。 コードとライブデモはhttps://github.com/chiang-yuan/llampで公開されている。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Large Language Models and the Extended Church-Turing Thesis [0.0]
  本稿では,計算可能性理論と計算複雑性理論を用いて,大規模言語モデル(LLM)の計算能力について検討する。 固定的な(非適応的な) LLM は、計算量的に a, probably large, deterministic finite-state transducer と同値であることを示す。 本研究は,いくつかの関連分野と哲学の幅広い文脈における知見のメリットについて論じる。
  論文  参考訳（メタデータ） (2024-09-11T03:09:55Z)
• MLLM Is a Strong Reranker: Advancing Multimodal Retrieval-augmented Generation via Knowledge-enhanced Reranking and Noise-injected Training [9.023648972811458]
  RagVLは、知識強化されたリグレードとノイズ注入トレーニングを備えた、新しいフレームワークである。 我々はMLLMに簡単な命令テンプレートを付与し、そのランク付け能力を誘導する。 例えば、データとトークンレベルでのトレーニング中に視覚ノイズを注入して、ジェネレータの堅牢性を高める。
  論文  参考訳（メタデータ） (2024-07-31T08:43:17Z)
• Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。 LLMは分子予測タスクを効果的に扱えるのか? 6つの標準分子データセットの分類および回帰予測タスクを同定する。 テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
  論文  参考訳（メタデータ） (2024-03-08T05:59:56Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Generative Multimodal Entity Linking [24.322540112710918]
  MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。 既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。 大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。 当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
  論文  参考訳（メタデータ） (2023-06-22T07:57:19Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。