論文の概要: Less can be more for predicting properties with large language models

• arxiv url: http://arxiv.org/abs/2406.17295v3
• Date: Wed, 09 Jul 2025 17:37:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.207581
• Title: Less can be more for predicting properties with large language models
• Title（参考訳）: より大きな言語モデルでプロパティを予測するために、より少ないことはできる。
• Authors: Nawaf Alampara, Santiago Miret, Kevin Maik Jablonka,
• Abstract要約: 本稿では,座標分類データの座標情報から学習できる大規模言語モデルの限界について報告する。 LLMはカテゴリパターンに長けながら座標情報の取得に一貫して失敗していることがわかった。 本研究は, 構造効果に支配される材料特性予測タスクにおける即時的な実践的意味を示唆するものである。
• 参考スコア（独自算出の注目度）: 5.561723952524538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting properties from coordinate-category data -- sets of vectors paired with categorical information -- is fundamental to computational science. In materials science, this challenge manifests as predicting properties like formation energies or elastic moduli from crystal structures comprising atomic positions (vectors) and element types (categorical information). While large language models (LLMs) have increasingly been applied to such tasks, with researchers encoding structural data as text, optimal strategies for achieving reliable predictions remain elusive. Here, we report fundamental limitations in LLM's ability to learn from coordinate information in coordinate-category data. Through systematic experiments using synthetic datasets with tunable coordinate and category contributions, combined with a comprehensive benchmarking framework (MatText) spanning multiple representations and model scales, we find that LLMs consistently fail to capture coordinate information while excelling at category patterns. This geometric blindness persists regardless of model size (up to 70B parameters), dataset scale (up to 2M structures), or text representation strategy. Our findings suggest immediate practical implications: for materials property prediction tasks dominated by structural effects, specialized geometric architectures consistently outperform LLMs by significant margins, as evidenced by a clear "GNN-LM wall" in performance benchmarks. Based on our analysis, we provide concrete guidelines for architecture selection in scientific machine learning, while highlighting the critical importance of understanding model inductive biases when tackling scientific prediction problems.
• Abstract（参考訳）: 座標カテゴリーデータ(分類情報とペア化されたベクトルの集合)から特性を予測することは、計算科学の基礎である。 材料科学において、この課題は、原子の位置(ベクトル)と要素タイプ(カテゴリ情報)からなる結晶構造から生成エネルギーや弾性変調などの特性を予測するものとして表される。 大規模言語モデル(LLM)は、構造データをテキストとしてエンコードする研究者が増えているが、信頼できる予測を達成するための最適な戦略はいまだ解明されていない。 本稿では,座標カテゴリデータの座標情報からLLMの学習能力の基本的な制限について報告する。 複数の表現やモデルスケールにまたがる総合的なベンチマークフレームワーク(MatText)と組み合わせて、調整可能な座標とカテゴリコントリビューションを備えた合成データセットを体系的に実験した結果、LLMはカテゴリパターンに長けながら座標情報の取得に一貫して失敗することがわかった。 この幾何学的盲点は、モデルサイズ(70Bパラメータまで)、データセットスケール(最大2M構造)、あるいはテキスト表現戦略に関係なく持続する。 構造的効果に支配される材料特性予測タスクでは, 性能ベンチマークで明らかな「GNN-LM壁」が示すように, 特殊幾何的アーキテクチャはLLMを著しく上回っている。 本分析では,科学的予測問題に対処する上で,モデル帰納的バイアスを理解することの重要性を強調しながら,科学的機械学習におけるアーキテクチャ選択のための具体的なガイドラインを提供する。

関連論文リスト

• Pre-trained Large Language Models Learn Hidden Markov Models In-context [10.06882436449576]
  隠れモデル(HMM)は、ラテンチャン構造を持つシーケンシャルデータをモデリングするツールであるが、現実のデータに適合する。 事前学習された言語(LLM)は、文脈内学習によって生成されたデータを効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2025-06-08T21:49:38Z)
• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Towards Visual Text Grounding of Multimodal Large Language Model [88.0588924255417]
  本稿では,テキストリッチな画像グラウンドのベンチマークを行うための命令データセットを新たに設計した新しいタスクであるTRIGを紹介する。 具体的には,OCR-LLM-ヒューマンインタラクションパイプラインを提案し,800の注釈付き質問応答ペアをベンチマークとして作成する。 提案したベンチマークによる各種MLLMの包括的評価は,テキストリッチな画像上でのグラウンド化能力の大幅な制限を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T12:01:59Z)
• TextInVision: Text and Prompt Complexity Driven Visual Text Generation Benchmark [61.412934963260724]
  既存の拡散ベースのテキスト・ツー・イメージモデルは、しばしば画像に正確にテキストを埋め込むのに苦労する。 本研究では,画像に視覚テキストを統合する拡散モデルの有効性を評価するために,大規模で,かつ,迅速な複雑性駆動型ベンチマークであるTextInVisionを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T21:36:31Z)
• A Materials Map Integrating Experimental and Computational Data via Graph-Based Machine Learning for Enhanced Materials Discovery [5.06756291053173]
  材料情報学(MI)は材料開発と発見を著しく加速すると予想されている。 MIで使用されるデータは、計算と実験の両方の研究から導かれる。 本研究では,材料特性と構造的特徴の関係を可視化する材料マップを構築するために得られたデータセットを用いた。
  論文  参考訳（メタデータ） (2025-03-10T14:31:34Z)
• Leveraging Large Language Models to Address Data Scarcity in Machine Learning: Applications in Graphene Synthesis [0.0]
  材料科学における機械学習は、限られた実験データのために困難に直面している。 大規模言語モデル(LLM)を用いて機械学習の性能を向上させる戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-06T16:04:01Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• MatExpert: Decomposing Materials Discovery by Mimicking Human Experts [26.364419690908992]
  MatExpertは、大規模言語モデルと対照的な学習を活用して、新しい固体材料の発見と設計を加速する新しいフレームワークである。 人間の素材設計専門家のワークフローにインスパイアされた我々のアプローチは、検索、遷移、生成という3つの重要な段階を統合している。 MatExpertは、ランガウジュに基づく生成モデルを用いた計算材料発見の有意義な進歩を表している。
  論文  参考訳（メタデータ） (2024-10-26T00:44:54Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• From Tokens to Materials: Leveraging Language Models for Scientific Discovery [12.211984932142537]
  本研究では, 材料科学における材料特性予測のための言語モデル埋め込みの適用について検討した。 本研究では、ドメイン固有モデル、特にMatBERTが、複合名や材料特性から暗黙的な知識を抽出する際の汎用モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-21T16:31:23Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
  本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを紹介する。 我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-08-25T15:17:43Z)
• MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities [0.0]
  本稿では,MaterioMinerデータセットと,オントロジの概念がテキストの実体と結びついている材料オントロジーについて述べる。 本稿では,3つのレーダ間の整合性について検討し,名前付きプロセス認識モデルトレーニングの実現可能性を示す。
  論文  参考訳（メタデータ） (2024-08-05T21:42:59Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
  本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
  論文  参考訳（メタデータ） (2024-01-19T23:00:31Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Generative retrieval-augmented ontologic graph and multi-agent strategies for interpretive large language model-based materials design [0.0]
  トランスフォーマーニューラルネットワークは、特に材料分析、設計、製造において、有望な能力を示す。 本稿では,教材の工学的分析を支援するツールとして,大規模言語モデル(LLM)の利用について検討する。
  論文  参考訳（メタデータ） (2023-10-30T20:31:50Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Leveraging Language Representation for Material Recommendation, Ranking, and Exploration [0.0]
  本稿では,言語モデルから派生した自然言語埋め込みを,構成的特徴と構造的特徴の表現として利用する材料発見フレームワークを提案する。 この枠組みを熱電学に適用することにより, 試作構造物の多種多様な推薦を行い, 未検討の高性能材料空間を同定する。
  論文  参考訳（メタデータ） (2023-05-01T21:58:29Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• MatSciBERT: A Materials Domain Language Model for Text Mining and Information Extraction [13.924666106089425]
  MatSciBERTは、材料領域で出版された科学文献の大規模なコーパスに基づいて訓練された言語モデルである。 MatSciBERTは,3つの下流タスク,すなわち抽象的分類,名前付きエンティティ認識,関係抽出において,SciBERTよりも優れていることを示す。 また,MatchSciBERTの材料領域における情報抽出への応用についても論じる。
  論文  参考訳（メタデータ） (2021-09-30T17:35:02Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。