論文の概要: Limitations of Automated Simulatability: LLM Simulators Can Bypass Explanations

• arxiv url: http://arxiv.org/abs/2609.08585v2
• Date: Thu, 10 Sep 2026 08:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 14:47:34.285331
• Title: Limitations of Automated Simulatability: LLM Simulators Can Bypass Explanations
• Title（参考訳）: 自動シミュラビリティの限界: LLMシミュレーターは説明を回避できる
• Abstract要約: Simulatability(シミュラビリティ)は、ユーザがタスクモデルのアウトプットを予測するのにいかに役立つかによって、その有用性を定量化する説明のための評価プロトコルである。 テストされたデータセット、説明ファミリ、シミュレータLLM間でのConSimの説明方法のランキングを再現し、拡張する。 シミュレーターは、説明に頼らずに、直接分類タスクを解くことで、高いシミュラビリティを得ることができることがわかった。
• 参考スコア（独自算出の注目度）: 16.24449973143784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simulatability is an evaluation protocol for explanations that quantifies their usefulness by how well they help a user predict a task model's outputs. Since human evaluation is costly, automated simulatability replaces human explainees with LLM simulators, as proposed in ConSim (Poché et al., 2025) for large-scale experiments. We qualitatively replicate and extend ConSim's ranking of explanation methods across the tested datasets, explanation families, and simulator LLMs, and identify two limitations. First, when class names are meaningful, simulators can obtain high simulatability by solving the classification task directly, without relying on the explanations. Second, class anonymization can reward explanations for leaking the hidden label mapping, a limitation we expose with a new classes-as-concepts baseline. These results are consistent with a shortcut hypothesis: in the tested settings, simulator predictions mainly rely on task priors, while explanations produce small changes. We derive recommendations for more robust automated simulatability evaluations.
• Abstract（参考訳）: Simulatability(シミュラビリティ)は、ユーザがタスクモデルのアウトプットを予測するのにいかに役立つかによって、その有用性を定量化する説明のための評価プロトコルである。 人間の評価はコストがかかるため、大規模な実験のためにConSim(Poché et al , 2025)で提案されているように、人間の説明責任をLLMシミュレータに置き換える。 テストされたデータセット、説明ファミリ、シミュレータLSMにまたがる説明方法のランキングを定性的に再現し、拡張し、2つの制限を識別する。 第一に、クラス名が意味のある場合、シミュレータは、説明に頼ることなく、分類タスクを直接解決することで、高いシミュラビリティを得ることができる。 次に、クラス匿名化は、新しいクラス・アズ・コンセプションベースラインで公開する制限として、隠されたラベルマッピングをリークした理由を説明することができる。 これらの結果はショートカットの仮説と一致しており、テスト環境では、シミュレータの予測は主にタスクの優先順位に依存し、説明は小さな変更をもたらす。 より堅牢な自動シミュラビリティ評価のためのレコメンデーションを導出する。

関連論文リスト

• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• Constructing a Question-Answering Simulator through the Distillation of LLMs [4.573445061106203]
  質問応答シミュレータ (QA) は、学生の実際の学習行動を模倣し、質問に対する回答の正しさを予測するモデルである。 QAシミュレータは、実際の学生と対話することなく、教育推薦システム(ERS)が大量のトレーニングデータを収集することを可能にする。 そこで本研究では, LLMからドメイン知識と推論能力を蒸留し, 予測支援を行うLDSim (LLM Distillation Based Simulator) を提案する。
  論文  参考訳（メタデータ） (2025-09-11T07:59:30Z)
• G-Sim: Generative Simulations with Large Language Models and Gradient-Free Calibration [48.948187359727996]
  G-Simは、厳密な経験的校正によるシミュレータ構築を自動化するハイブリッドフレームワークである。 信頼性のある因果的インフォームドシミュレータを生成し、データ効率を軽減し、堅牢なシステムレベルの介入を可能にする。
  論文  参考訳（メタデータ） (2025-06-10T22:14:34Z)
• Pseudo-Simulation for Autonomous Driving [66.1981253104508]
  既存の自動運転車(AV)の評価パラダイムは、重大な制限に直面している。 現実世界の評価は、安全上の懸念と現実主義の欠如のためにしばしば困難である。 オープンループ評価は、一般的に複合的なエラーを見落としているメトリクスに依存する。
  論文  参考訳（メタデータ） (2025-06-04T17:57:53Z)
• Counterfactual Simulatability of LLM Explanations for Generation Tasks [19.28024210770558]
  モデルがそれらの振る舞いを正確に説明できる能力は、特にハイテイクな設定で重要である。 因果的シミュラビリティ(英: Counterfactual simulatability)とは、ユーザが関連する反事実に対してモデルの出力を推測できる説明法である。 本研究の結果から, 知識に基づくタスクよりも, スキルベースのタスクの方が, 対実的シミュラビリティの評価に適している可能性が示唆された。
  論文  参考訳（メタデータ） (2025-05-27T20:29:50Z)
• Can LLMs Simulate Personas with Reversed Performance? A Benchmark for Counterfactual Instruction Following [12.145213376813155]
  大規模言語モデル(LLM)は、仮想環境におけるペルソナのシミュレートに広く使われている。 現状のLLMでさえ、逆性能のペルソナをシミュレートできないことを示す。
  論文  参考訳（メタデータ） (2025-04-08T22:00:32Z)
• MemSim: A Bayesian Simulator for Evaluating Memory of LLM-based Personal Assistants [64.41695570145673]
  生成したユーザメッセージから信頼性の高い質問や回答(QA)を自動的に構築するベイズシミュレータであるMemSimを提案する。 MemSimに基づいて、MemDailyという名前の日常生活シナリオのデータセットを生成し、我々のアプローチの有効性を評価するための広範な実験を行う。
  論文  参考訳（メタデータ） (2024-09-30T10:19:04Z)
• NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking [65.24988062003096]
  我々は,視覚に基づく運転ポリシーをベンチマークするフレームワークであるNAVSIMを提案する。 我々のシミュレーションは非反応性であり、評価された政策と環境は互いに影響を与えない。 NAVSIMはCVPR 2024で開催され、143チームが433のエントリーを提出し、いくつかの新たな洞察を得た。
  論文  参考訳（メタデータ） (2024-06-21T17:59:02Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。