論文の概要: MechGPT, a language-based strategy for mechanics and materials modeling
that connects knowledge across scales, disciplines and modalities
- arxiv url: http://arxiv.org/abs/2310.10445v1
- Date: Mon, 16 Oct 2023 14:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 13:44:15.592059
- Title: MechGPT, a language-based strategy for mechanics and materials modeling
that connects knowledge across scales, disciplines and modalities
- Title（参考訳）: MechGPT - スケール、規律、モダリティにまたがる知識を結びつけるメカニクスと材料モデリングのための言語ベースの戦略
- Authors: Markus J. Buehler
- Abstract要約: 我々は,Large Language Model (LLM) を用いて,質問応答対を原料から抽出し,微調整する。
得られたMechGPT LLM基盤モデルは、知識検索、様々な言語タスク、仮説生成、異なる領域にわたる知識の接続能力を調べるために、一連の計算実験で使用される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: For centuries, researchers have sought out ways to connect disparate areas of
knowledge. While early scholars (Galileo, da Vinci, etc.) were experts across
fields, specialization has taken hold later. With the advent of Artificial
Intelligence, we can now explore relationships across areas (e.g.,
mechanics-biology) or disparate domains (e.g., failure mechanics-art). To
achieve this, we use a fine-tuned Large Language Model (LLM), here for a subset
of knowledge in multiscale materials failure. The approach includes the use of
a general-purpose LLM to distill question-answer pairs from raw sources
followed by LLM fine-tuning. The resulting MechGPT LLM foundation model is used
in a series of computational experiments to explore its capacity for knowledge
retrieval, various language tasks, hypothesis generation, and connecting
knowledge across disparate areas. While the model has some ability to recall
knowledge from training, we find that LLMs are particularly useful to extract
structural insights through Ontological Knowledge Graphs. These interpretable
graph structures provide explanatory insights, frameworks for new research
questions, and visual representations of knowledge that also can be used in
retrieval-augmented generation. Three versions of MechGPT are discussed,
featuring different sizes from 13 billion to 70 billion parameters, and
reaching context lengths of more than 10,000 tokens. This provides ample
capacity for sophisticated retrieval augmented strategies, as well as
agent-based modeling where multiple LLMs interact collaboratively and/or
adversarially, the incorporation of new data from the literature or web
searches, as well as multimodality.
- Abstract（参考訳）: 何世紀もの間、研究者は異なる分野の知識をつなぐ方法を模索してきた。
初期の学者(ガリレオ、ダ・ヴィンチなど)は分野の専門家であったが、後に専門化が進んだ。
人工知能の出現により、分野(メカニカルバイオロジーなど)や異なるドメイン(障害メカニカルアートなど)にまたがる関係を探求できるようになった。
これを実現するために、我々は、多スケール材料故障における知識のサブセットとして、細調整されたLarge Language Model (LLM)を使用します。
このアプローチは、LLMファインチューニングに続く原材料から質問応答対を蒸留するための汎用LLMの使用を含む。
得られたMechGPT LLM基盤モデルは、知識検索、様々な言語タスク、仮説生成、異なる領域にわたる知識の接続能力を調べるために、一連の計算実験で使用される。
モデルにはトレーニングから知識を思い出す能力があるが、LLMはオントロジー知識グラフを通して構造的洞察を抽出するのに特に有用である。
これらの解釈可能なグラフ構造は、説明可能な洞察、新しい研究質問のためのフレームワーク、および検索による生成にも使用できる知識の視覚的表現を提供する。
MechGPTの3つのバージョンが議論され、サイズが13億から70億のパラメータで、1万以上のトークンのコンテキスト長に達する。
これにより、高度な検索強化戦略や、複数のLLMが協調的に/または敵対的に相互作用するエージェントベースのモデリング、文献やWeb検索からの新たなデータの取り込み、マルチモーダリティが実現される。
関連論文リスト
- Adapter-based Approaches to Knowledge-enhanced Language Models -- A Survey [48.52320309766703]
知識強化言語モデル(KELM)は、大規模言語モデルとドメイン固有の知識のギャップを埋めるための有望なツールとして登場した。
KELMsは知識グラフ(KGs)を利用することで、より現実的な精度と幻覚を達成することができる
論文 参考訳（メタデータ） (2024-11-25T14:10:24Z) - GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery [10.573861741540853]
KG Structure as Promptは、共通ノードやメタパスなどの知識グラフから構造情報を即時学習に統合するための新しいアプローチである。
バイオメディカルデータセットとオープンドメインデータセットの3種類の実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-07-26T14:07:00Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳（メタデータ） (2024-07-17T20:01:21Z) - A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。
Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。
RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文 参考訳（メタデータ） (2024-05-10T02:48:45Z) - Materials science in the era of large language models: a perspective [0.0]
大きな言語モデル(LLM)は、その印象的な能力によってかなりの関心を集めている。
この論文は、様々なタスクや規律にわたる曖昧な要求に対処する能力は、研究者を支援する強力なツールになり得ると論じている。
論文 参考訳（メタデータ） (2024-03-11T17:34:25Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文 参考訳（メタデータ） (2024-02-12T16:32:37Z) - Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。
我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。
強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
論文 参考訳（メタデータ） (2024-01-16T08:44:29Z) - Generative retrieval-augmented ontologic graph and multi-agent
strategies for interpretive large language model-based materials design [0.0]
トランスフォーマーニューラルネットワークは、特に材料分析、設計、製造において、有望な能力を示す。
本稿では,教材の工学的分析を支援するツールとして,大規模言語モデル(LLM)の利用について検討する。
論文 参考訳（メタデータ） (2023-10-30T20:31:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。