論文の概要: Measuring (a Sufficient) World Model in LLMs: A Variance Decomposition Framework

• arxiv url: http://arxiv.org/abs/2506.16584v1
• Date: Thu, 19 Jun 2025 20:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.245934
• Title: Measuring (a Sufficient) World Model in LLMs: A Variance Decomposition Framework
• Title（参考訳）: LLMにおける(十分)世界モデルの測定:分散分解フレームワーク
• Authors: Nadav Kunievsky, James A. Evans,
• Abstract要約: 本研究では,大言語モデル (LLM) が世界モデルを持つかどうかを評価するための形式的枠組みを提案する。 本稿では,ユーザの目的による変動性,ユーザの調音性,モデルの不安定性の3つのコンポーネントに,モデル応答の可変性を測定するための新しい評価手法を提案する。 以上の結果から,より大きなモデルでは,ユーザ目的の変化による出力変動が大きく,より堅牢な世界モデルであることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding whether large language models (LLMs) possess a world model-a structured understanding of the world that supports generalization beyond surface-level patterns-is central to assessing their reliability, especially in high-stakes applications. We propose a formal framework for evaluating whether an LLM exhibits a sufficiently robust world model, defined as producing consistent outputs across semantically equivalent prompts while distinguishing between prompts that express different intents. We introduce a new evaluation approach to measure this that decomposes model response variability into three components: variability due to user purpose, user articulation, and model instability. An LLM with a strong world model should attribute most of the variability in its responses to changes in foundational purpose rather than superficial changes in articulation. This approach allows us to quantify how much of a model's behavior is semantically grounded rather than driven by model instability or alternative wording. We apply this framework to evaluate LLMs across diverse domains. Our results show how larger models attribute a greater share of output variability to changes in user purpose, indicating a more robust world model. This improvement is not uniform, however: larger models do not consistently outperform smaller ones across all domains, and their advantage in robustness is often modest. These findings highlight the importance of moving beyond accuracy-based benchmarks toward semantic diagnostics that more directly assess the structure and stability of a model's internal understanding of the world.
• Abstract（参考訳）: 大規模言語モデル (LLM) が世界モデルを持つかどうかを理解する - 表面レベルのパターンを超越した一般化を支援する世界の構造化された理解 - は、信頼性、特に高度なアプリケーションにおいて、その信頼性を評価する中心的な存在である。 我々は,LLMが十分に堅牢な世界モデルを示すかどうかを評価するための形式的枠組みを提案し,意味論的に等価なプロンプト間で一貫したアウトプットを生成し,異なる意図を表現するプロンプトを区別する。 本稿では,モデル応答の変動性を,ユーザ目的による変動性,ユーザ記述性,モデル不安定性の3つの構成要素に分解する評価手法を提案する。 強い世界モデルを持つLLMは、表面的な調音変化よりも基礎的な目的の変化に対する応答の多様性の大部分を考慮すべきである。 このアプローチは、モデルの不安定性や代替語によって駆動されるよりも、モデルの振る舞いのどれだけが意味論的に基礎づけられているかの定量化を可能にします。 この枠組みを多分野にわたるLCMの評価に適用する。 以上の結果から,より大きなモデルでは,ユーザ目的の変化による出力変動が大きく,より堅牢な世界モデルであることが示唆された。 しかし、この改善は均一ではなく、より大きなモデルはすべての領域でより小さなモデルよりも一貫して優れているわけではなく、ロバスト性における優位性はしばしば控えめである。 これらの知見は、モデルの内部的理解の構造と安定性をより直接的に評価する意味診断へ、精度に基づくベンチマークを超えて移行することの重要性を強調している。

関連論文リスト

• Revisiting Multi-Agent World Modeling from a Diffusion-Inspired Perspective [45.44355861030715]
  拡散モデルを用いたマルチエージェント強化学習(MARL)のためのフレキシブルで堅牢な世界モデルを開発する。 本手法はDiffusion-Inspired Multi-Agent World Model (DIMA) を用いて,複数のマルチエージェント制御ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-27T09:11:38Z)
• Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
  我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。 モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。 多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:05:10Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions [8.069858557211132]
  大きな言語モデル(LLM)は、様々なタスクにまたがって顕著な機能を示している。 ハイテイクなドメインへのデプロイメントには、複数ラウンドにわたるユーザインタラクションの一貫性と一貫性を備えた動作が必要です。 本稿では,LLM応答整合性の評価と改善のための総合的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-28T11:49:56Z)
• Enhancing Semantic Consistency of Large Language Models through Model Editing: An Interpretability-Oriented Approach [28.07366458452159]
  大規模言語モデル(LLM)は、等価な意味を持つプロンプトが提示されるが、元のプロンプトとは異なる形で表現されるとき、矛盾する出力を生成する。 LLMのセマンティック一貫性を達成するために、重要なアプローチの1つは、セマンティックに等価な意味を持つプロンプトとアウトプットのペアでモデルを微調整することである。 LLMのセマンティック一貫性を高めるために,より解釈可能な手法(モデル編集)を提案する。
  論文  参考訳（メタデータ） (2025-01-19T13:26:15Z)
• Ranked from Within: Ranking Large Multimodal Models for Visual Question Answering Without Labels [64.94853276821992]
  大規模マルチモーダルモデル(LMM)は、様々なアプリケーションにまたがってますます展開されている。 従来の評価方法は、主にデータセット中心であり、固定されたラベル付きデータセットと教師付きメトリクスに依存している。 ソフトマックス確率などの不確実性信号を利用したLMMの教師なしモデルランキングについて検討する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• Model Attribution in LLM-Generated Disinformation: A Domain Generalization Approach with Supervised Contrastive Learning [26.02988481241285]
  現代の大きな言語モデル(LLM)は、人間のような品質で偽情報を生成する。 偽情報を生成する方法の多様性は、正確なソース属性を複雑にする。 本稿では,モデル帰属の概念を領域一般化問題として紹介する。
  論文  参考訳（メタデータ） (2024-07-31T00:56:09Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。