論文の概要: Variable names provide priors: semantic grounding enables data-efficient numerical prediction by large language models

• arxiv url: http://arxiv.org/abs/2611.02637v1
• Date: Mon, 02 Nov 2026 07:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.573692
• Title: Variable names provide priors: semantic grounding enables data-efficient numerical prediction by large language models
• Title（参考訳）: セマンティックグラウンドリングは、大規模言語モデルによるデータ効率のよい数値予測を可能にする
• Abstract要約: 大規模言語モデル(LLM)は様々なタスクで高いパフォーマンスを実現している。 セマンティックグラウンドティングにより、タスク固有のトレーニングなしで5つのLLMが7つの教師あり機械学習(ML)モデルに適合または優れることを示す。 我々の研究は、LLMが数値予測においてドメイン固有の知識をどのように活用しているかを明らかにし、それらをデータ共有科学領域のためのデータ効率予測器として位置づける。
• 参考スコア（独自算出の注目度）: 7.401421148264081
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved strong performance across diverse tasks, from question answering to code generation. Recent studies have found that LLMs can perform numerical prediction on tabular datasets via in-context learning. However, it remains unclear under what conditions and how LLMs use variable names and in-context examples for numerical prediction. Here we show that semantic grounding, the match between variable names and the values they describe, allows five LLMs without task-specific training to match or outperform seven supervised machine learning (ML) models across 20 datasets from nine scientific domains, particularly when examples are scarce. Reasoning traces indicate that variable names allow LLMs to draw on domain-specific knowledge acquired during pretraining. Using controlled tasks based on physical formulas, we further show that LLMs integrate domain-specific knowledge with in-context examples in a way consistent with Bayesian updating. Specifically, when the relationship between the inputs and the target cannot be inferred from the examples alone, LLMs rely on domain-specific knowledge as the prior. Conversely, as contradicting examples accumulate, LLM predictions shift progressively towards these examples, which act as the likelihood. Our work reveals how LLMs use domain-specific knowledge in numerical prediction and positions them as data-efficient predictors for data-scarce scientific domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、質問応答からコード生成に至るまで、さまざまなタスクにわたって強力なパフォーマンスを実現している。 近年の研究では、LLMは文脈内学習により表形式のデータセット上で数値予測を行うことができることが判明している。 しかし、LLMが変数名や文脈内例を数値予測にどのように使っているかは、まだ不明である。 ここでは、変数名とそれらが記述する値の一致であるセマンティックグラウンド化によって、タスク固有のトレーニングを伴わない5つのLLMが、9つの科学領域の20のデータセット、特にサンプルが不足している場合の7つの教師付き機械学習(ML)モデルにマッチまたは上向くことができることを示す。 推論トレースは、変数名によって、LLMが事前トレーニング中に取得したドメイン固有の知識を描画できることを示している。 さらに、物理式に基づく制御タスクを用いて、LLMがコンテキスト内例とドメイン固有の知識を統合し、ベイジアン更新と整合することを示す。 具体的には、入力とターゲットの関係が例だけでは推測できない場合、LLMは以前のようにドメイン固有の知識に依存します。 逆に、矛盾する例が蓄積されるにつれて、LSM予測はこれらの例に向かって徐々にシフトし、可能性として作用する。 我々の研究は、LLMが数値予測においてドメイン固有の知識をどのように活用しているかを明らかにし、それらをデータ共有科学領域のためのデータ効率予測器として位置づける。

関連論文リスト

• Robustness is Important: Limitations of LLMs for Data Fitting [0.0]
  大規模言語モデル(LLM)は幅広い設定に適用されている。 データフィッティングにLLMを使うことの重大な脆弱性を特定する。 変数名を変更することで、特定の設定で予測エラーのサイズを最大82%縮小することができる。
  論文  参考訳（メタデータ） (2025-08-27T04:46:05Z)
• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Do LLMs Really Adapt to Domains? An Ontology Learning Perspective [2.0755366440393743]
  大規模言語モデル(LLM)は、様々なアプリケーション領域において、様々な自然言語処理タスクに対して前例のない進歩を見せている。 近年の研究では、LLMが知識ベースコンプリート(KBC)やオントロジー学習(OL)などの語彙意味タスクに活用できることが示されている。 LLMは本当にドメインに適応し、構造化知識の抽出に一貫性を持ち続けるのか、それとも推論の代わりに語彙感覚のみを学ぶのか?
  論文  参考訳（メタデータ） (2024-07-29T13:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。