論文の概要: KnowSim: Evaluating Information Calibration in LLM Assistants with User Simulators that Learn

• arxiv url: http://arxiv.org/abs/2608.17150v1
• Date: Mon, 17 Aug 2026 21:33:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.135892
• Title: KnowSim: Evaluating Information Calibration in LLM Assistants with User Simulators that Learn
• Title（参考訳）: KnowSim:学習するユーザシミュレータを用いたLLMアシスタントの情報校正の評価
• Abstract要約: KNOWSIMは、明示的な知識状態を維持するユーザシミュレータを中心に構築された評価フレームワークである。 知識状態の軌跡から直接3つのメトリクス(知識ゲイン、デリバリ、認知的オーバーロード)を計算します。 KNOWSIMは、最高のモデルがユーザーの知識レベルによって変化し、標準評価に見えない適性-処理相互作用が明らかになることを示した。
• 参考スコア（独自算出の注目度）: 40.859329600010646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To effectively collaborate with users on knowledge-intensive tasks, Large Language Models (LLMs) must perform information calibration: matching content to a user's evolving understanding and cognitive capacity. Yet user simulators used to evaluate and train LLMs do not explicitly model user knowledge so they neither produce realistic interactions across knowledge levels nor reflect how interactions unfold as that knowledge evolves. To close this gap, we introduce KNOWSIM, an evaluation framework built around a user simulator that maintains explicit knowledge states, represented as a graph of Information Units with prerequisite relationships, that evolve under update rules grounded in learning theory. KNOWSIM computes three metrics (Knowledge Gain, Delivery Calibration, Cognitive Overload) directly from the knowledge state trajectory, reflecting key mechanistic aspects of information calibration. We validate KNOWSIM against 705 human-AI sessions across two domains, stratified by knowledge level: its rankings align significantly with human judgments (73-74% sign agreement), outperforming three baseline simulators. Applied to 9 LLMs, KNOWSIM reveals that the best model shifts by user knowledge level, revealing aptitude-treatment interactions invisible to standard evaluation.
• Abstract（参考訳）: 知識集約的なタスクにおいてユーザと効果的に協力するためには、Large Language Models (LLM) は、ユーザの進化する理解と認知能力に適合する情報キャリブレーションを行う必要がある。 しかし、LCMの評価とトレーニングに使用されるユーザシミュレータは、ユーザー知識を明示的にモデル化していないため、知識レベルを越えた現実的なインタラクションも、その知識が進化するにつれてどのように相互作用が広がるかを反映することもできない。 このギャップを埋めるために、学習理論に基づく更新規則の下で進化する情報ユニットのグラフとして表される、明示的な知識状態を維持するユーザシミュレータを中心に構築された評価フレームワークであるKNOWSIMを導入する。 KNOWSIMは、知識状態の軌跡から直接3つのメトリクス(知識ゲイン、デリバリキャリブレーション、認知オーバーロード)を計算し、情報キャリブレーションの重要な力学的側面を反映する。 我々はKNOWSIMを2つのドメインにわたる705のAIセッションに対して検証し、そのランクは人間の判断(73-74%のサインアグリーメント)と大きく一致し、3つのベースラインシミュレータを上回った。 9 LLMに適用したKNOWSIMは、最高のモデルがユーザの知識レベルによって変化し、標準評価に見えない適性-処理相互作用が明らかになることを示した。

関連論文リスト

• SimSkill: A Self-Evolving LLM Agent for Skill and Knowledge Accumulation in Traffic Simulation [9.969873227231963]
  累積的な文化は、人間が経験や世代にわたって知識とスキルを保存し、再利用し、拡張することを可能にする。 都市運動シミュレーション(SUMO)の交通シミュレータを中心に構築された自己進化型エージェントである textitSimSkill を紹介する。 SimSkillは、継続的に能力ギャップを特定し、環境に根ざしたタスクを生成し、解決し、アクションクリティカルループを通じてソリューションを検証する。
  論文  参考訳（メタデータ） (2026-09-03T12:23:56Z)
• GONE: Structural Knowledge Unlearning via Neighborhood-Expanded Distribution Shaping [4.740962650068887]
  本稿では,Large Language Models (LLMs) における構造化知識グラフ (KG) 事実に対する知識未学習の評価ベンチマークである Graph Oblivion and Node Erasure (GONE) を紹介する。 このKGベースのベンチマークは、直接事実除去、推論に基づくリーク、破滅的な忘れという3つの非学習効果の解離を可能にする。 新たなアンラーニングフレームワークであるNEDSは、グラフ接続を活用してアンカー関係の隣人を識別し、忘れられた事実とそのセマンティック・エリア間の正確な決定境界を強制するように設計されている。
  論文  参考訳（メタデータ） (2026-02-21T04:08:37Z)
• Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness [46.653774740885275]
  大規模言語モデル(LLM)における意図しない記憶の軽減を目的とした機械学習手法 実世界の知識の暗黙構造をより正確に捉えた知識未学習評価フレームワークを提案する。 私たちのフレームワークは、未学習のパフォーマンスをより現実的で厳格に評価します。
  論文  参考訳（メタデータ） (2025-06-06T04:35:19Z)
• AssistedDS: Benchmarking How External Domain Knowledge Assists LLMs in Automated Data Science [31.08682306627942]
  AssistedDSは、大規模言語モデルがドメイン知識をどのように扱うかを評価するために設計されたベンチマークである。 我々は、最先端のLLMを、有害なドメイン知識を識別し、有効に適用する能力に基づいて評価する。 我々の結果は、専門家の知識を批判的に評価し活用する現在のモデルの能力に、かなりのギャップがあることを示します。
  論文  参考訳（メタデータ） (2025-05-25T05:50:21Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Establishing Knowledge Preference in Language Models [80.70632813935644]
  言語モデルは事前学習を通じて大量の事実知識を符号化することが知られている。 このような知識はユーザーからの要求に応えるには不十分かもしれない。 進行中のイベントに関する質問に答える場合には、最新のニュース記事を使って回答を更新する必要がある。 ある事実がモデルで編集されると、更新された事実はモデルによって学習されたすべての事前知識をオーバーライドする。
  論文  参考訳（メタデータ） (2024-07-17T23:16:11Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。