論文の概要: Less can be more for predicting properties with large language models

• arxiv url: http://arxiv.org/abs/2406.17295v3
• Date: Wed, 09 Jul 2025 17:37:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.207581
• Title: Less can be more for predicting properties with large language models
• Title（参考訳）: より大きな言語モデルでプロパティを予測するために、より少ないことはできる。
• Authors: Nawaf Alampara, Santiago Miret, Kevin Maik Jablonka,
• Abstract要約: 本稿では,座標分類データの座標情報から学習できる大規模言語モデルの限界について報告する。 LLMはカテゴリパターンに長けながら座標情報の取得に一貫して失敗していることがわかった。 本研究は, 構造効果に支配される材料特性予測タスクにおける即時的な実践的意味を示唆するものである。
• 参考スコア（独自算出の注目度）: 5.561723952524538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting properties from coordinate-category data -- sets of vectors paired with categorical information -- is fundamental to computational science. In materials science, this challenge manifests as predicting properties like formation energies or elastic moduli from crystal structures comprising atomic positions (vectors) and element types (categorical information). While large language models (LLMs) have increasingly been applied to such tasks, with researchers encoding structural data as text, optimal strategies for achieving reliable predictions remain elusive. Here, we report fundamental limitations in LLM's ability to learn from coordinate information in coordinate-category data. Through systematic experiments using synthetic datasets with tunable coordinate and category contributions, combined with a comprehensive benchmarking framework (MatText) spanning multiple representations and model scales, we find that LLMs consistently fail to capture coordinate information while excelling at category patterns. This geometric blindness persists regardless of model size (up to 70B parameters), dataset scale (up to 2M structures), or text representation strategy. Our findings suggest immediate practical implications: for materials property prediction tasks dominated by structural effects, specialized geometric architectures consistently outperform LLMs by significant margins, as evidenced by a clear "GNN-LM wall" in performance benchmarks. Based on our analysis, we provide concrete guidelines for architecture selection in scientific machine learning, while highlighting the critical importance of understanding model inductive biases when tackling scientific prediction problems.
• Abstract（参考訳）: 座標カテゴリーデータ(分類情報とペア化されたベクトルの集合)から特性を予測することは、計算科学の基礎である。 材料科学において、この課題は、原子の位置(ベクトル)と要素タイプ(カテゴリ情報)からなる結晶構造から生成エネルギーや弾性変調などの特性を予測するものとして表される。 大規模言語モデル(LLM)は、構造データをテキストとしてエンコードする研究者が増えているが、信頼できる予測を達成するための最適な戦略はいまだ解明されていない。 本稿では,座標カテゴリデータの座標情報からLLMの学習能力の基本的な制限について報告する。 複数の表現やモデルスケールにまたがる総合的なベンチマークフレームワーク(MatText)と組み合わせて、調整可能な座標とカテゴリコントリビューションを備えた合成データセットを体系的に実験した結果、LLMはカテゴリパターンに長けながら座標情報の取得に一貫して失敗することがわかった。 この幾何学的盲点は、モデルサイズ(70Bパラメータまで)、データセットスケール(最大2M構造)、あるいはテキスト表現戦略に関係なく持続する。 構造的効果に支配される材料特性予測タスクでは, 性能ベンチマークで明らかな「GNN-LM壁」が示すように, 特殊幾何的アーキテクチャはLLMを著しく上回っている。 本分析では,科学的予測問題に対処する上で,モデル帰納的バイアスを理解することの重要性を強調しながら,科学的機械学習におけるアーキテクチャ選択のための具体的なガイドラインを提供する。

関連論文リスト

• Towards Visual Text Grounding of Multimodal Large Language Model [88.0588924255417]
  本稿では,テキストリッチな画像グラウンドのベンチマークを行うための命令データセットを新たに設計した新しいタスクであるTRIGを紹介する。 具体的には,OCR-LLM-ヒューマンインタラクションパイプラインを提案し,800の注釈付き質問応答ペアをベンチマークとして作成する。 提案したベンチマークによる各種MLLMの包括的評価は,テキストリッチな画像上でのグラウンド化能力の大幅な制限を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T12:01:59Z)
• TextInVision: Text and Prompt Complexity Driven Visual Text Generation Benchmark [61.412934963260724]
  既存の拡散ベースのテキスト・ツー・イメージモデルは、しばしば画像に正確にテキストを埋め込むのに苦労する。 本研究では,画像に視覚テキストを統合する拡散モデルの有効性を評価するために,大規模で,かつ,迅速な複雑性駆動型ベンチマークであるTextInVisionを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T21:36:31Z)
• MatExpert: Decomposing Materials Discovery by Mimicking Human Experts [26.364419690908992]
  MatExpertは、大規模言語モデルと対照的な学習を活用して、新しい固体材料の発見と設計を加速する新しいフレームワークである。 人間の素材設計専門家のワークフローにインスパイアされた我々のアプローチは、検索、遷移、生成という3つの重要な段階を統合している。 MatExpertは、ランガウジュに基づく生成モデルを用いた計算材料発見の有意義な進歩を表している。
  論文  参考訳（メタデータ） (2024-10-26T00:44:54Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• From Tokens to Materials: Leveraging Language Models for Scientific Discovery [12.211984932142537]
  本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。 本研究では、ドメイン固有モデル、特にMatBERTが、複合名や材料特性から暗黙的な知識を抽出する際の汎用モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-21T16:31:23Z)
• Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
  本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを紹介する。 我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-08-25T15:17:43Z)
• MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities [0.0]
  本稿では,MaterioMinerデータセットと,オントロジの概念がテキストの実体と結びついている材料オントロジーについて述べる。 本稿では,3つのレーダ間の整合性について検討し,名前付きプロセス認識モデルトレーニングの実現可能性を示す。
  論文  参考訳（メタデータ） (2024-08-05T21:42:59Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Leveraging Language Representation for Material Recommendation, Ranking, and Exploration [0.0]
  本稿では,言語モデルから派生した自然言語埋め込みを,構成的特徴と構造的特徴の表現として利用する材料発見フレームワークを提案する。 この枠組みを熱電学に適用することにより, 試作構造物の多種多様な推薦を行い, 未検討の高性能材料空間を同定する。
  論文  参考訳（メタデータ） (2023-05-01T21:58:29Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• MatSciBERT: A Materials Domain Language Model for Text Mining and Information Extraction [13.924666106089425]
  MatSciBERTは、材料領域で出版された科学文献の大規模なコーパスに基づいて訓練された言語モデルである。 MatSciBERTは,3つの下流タスク,すなわち抽象的分類,名前付きエンティティ認識,関係抽出において,SciBERTよりも優れていることを示す。 また,MatchSciBERTの材料領域における情報抽出への応用についても論じる。
  論文  参考訳（メタデータ） (2021-09-30T17:35:02Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。