論文の概要: ToMStories: Interpreting Theory-of-Mind in Synthetic Narratives

• arxiv url: http://arxiv.org/abs/2610.22632v1
• Date: Thu, 15 Oct 2026 20:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.663771
• Title: ToMStories: Interpreting Theory-of-Mind in Synthetic Narratives
• Title（参考訳）: ToMStories: シンセティック・ナラティクスにおけるミステリー・オブ・ミンドの解釈
• Abstract要約: 理論・オブ・ミンド・ストーリー(英: Theory-of-Mind Stories)は、6000の短い合成された物語ヴィグネットの評価データセットである。 最大のモデルは、複数の選択肢で人間と一致するが、オープンエンドの質問ではない。 分析では、暗黙の心理状態の解釈と生成の両方においてモデルが単純化されることを指摘する。
• 参考スコア（独自算出の注目度）: 12.350800078736128
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding people often requires inferring what they feel or want from how they behave rather than from what they state outright. We ask whether language models can make these inferences, and how they do so. We introduce Theory-of-Mind Stories (ToMStories), an evaluation dataset of ~6,000 short synthetically generated narrative vignettes, each paired with a multiple-choice or open-ended question about a character's emotion, fear, motivation, or emotional wound. These psychological states are conveyed implicitly (showing), explicitly (telling), or with conflict between dialogue and description. Evaluating thirteen open-weight models (1B-72B parameters), we find that the largest models match humans on multiple choice but not open-ended questions. Our analyses point to simplifications models make in both interpretation and generation of implicit psychological states, indicating that synthetic data can help us understand how models perform interpretation, but likely overestimates how well models interpret humans.
• Abstract（参考訳）: 人々を理解するには、自分たちが何を望んでいるかではなく、どのように振る舞うかを判断する必要があることが多い。 言語モデルがこれらの推論を行うことができるのか、どのように行うのかを問う。 ToMStories(Theory-of-Mind Stories)は,感情,恐怖,モチベーション,感情的な傷について,複数の選択,あるいはオープンな質問と組み合わせて,約6,000の短い合成された物語ヴィグネットの評価データセットである。 これらの心理学的状態は暗黙的に(引き分け)、明示的に(テリング)、あるいは対話と説明の衝突によって伝達される。 13のオープンウェイトモデル (1B-72Bパラメータ) を評価すると、最大のモデルは複数の選択肢において人間と一致するが、オープンエンドの質問ではないことがわかった。 我々の分析は、モデルが暗黙の心理学的状態の解釈と生成の両方において単純化することを示し、合成データはモデルがどのように解釈を行うかを理解するのに役立つが、モデルがどのように人間をうまく解釈するかを過大評価する可能性があることを示唆している。

関連論文リスト

• On the Emotion Understanding of Synthesized Speech [63.13411068766772]
  感情は音声対話における中核的なパラ言語的特徴である。 現在の音声感情認識(SER)モデルは、合成音声に一般化できない。 生成音声言語モデル(SLM)は、パラ言語的手がかりを無視しながら、テキスト意味論から感情を推測する傾向がある。
  論文  参考訳（メタデータ） (2026-03-17T13:11:14Z)
• Gender Bias in Instruction-Guided Speech Synthesis Models [55.2480439325792]
  本研究では、モデルが職業関連プロンプトをどのように解釈するかにおける潜在的な性別バイアスについて検討する。 このようなプロンプトを解釈する際に、これらのモデルがジェンダーステレオタイプを増幅する傾向を示すかどうかを検討する。 実験の結果, ある職業において, 性別偏見を示す傾向が示された。
  論文  参考訳（メタデータ） (2025-02-08T17:38:24Z)
• How the Advent of Ubiquitous Large Language Models both Stymie and Turbocharge Dynamic Adversarial Question Generation [16.40094089897355]
  大型言語モデル(LLMs)は、人間の作家にとって二刃の剣である。 LLMは対戦相手として強く、打ち負かすのが難しい。 我々は、良い、挑戦的な質問を引き出すための新しい指標とインセンティブを提案する。
  論文  参考訳（メタデータ） (2024-01-20T09:49:59Z)
• Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
  人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。 EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。 分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
  論文  参考訳（メタデータ） (2023-11-16T06:20:13Z)
• A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models [39.77445889769015]
  言語モデルのPaLM2ファミリにおいて、より大きなモデルはより小さなモデルよりも論理的であることを示す。 最大のモデルでさえ体系的な誤りを犯し、その一部は人間の推論バイアスを反映している。 全体として、言語モデルはトレーニングデータに含まれる人間のバイアスを模倣することが多いが、場合によってはそれを克服することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:13:06Z)
• A fine-grained comparison of pragmatic language understanding in humans and language models [2.231167375820083]
  言語モデルと人間を7つの現実的な現象で比較する。 最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。 モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
  論文  参考訳（メタデータ） (2022-12-13T18:34:59Z)
• Robots-Dont-Cry: Understanding Falsely Anthropomorphic Utterances in Dialog Systems [64.10696852552103]
  非常に人為的な反応は、ユーザーが人間と対話していると考えることを不快に、あるいは暗黙的に騙すかもしれない。 9つの異なるデータソースからサンプリングした約900の2ターンダイアログの実現可能性に関する人間の評価を収集する。
  論文  参考訳（メタデータ） (2022-10-22T12:10:44Z)
• Psychologically-informed chain-of-thought prompts for metaphor understanding in large language models [29.993190226231793]
  我々はチェーン・オブ・シント・プロンプトを使って確率モデルから大きな言語モデルに構造を導入する。 我々のプロンプトは、メタファーの適切なパラフレーズを選択するために、言語モデルに潜伏変数を推論し、それらの関係を推論する。
  論文  参考訳（メタデータ） (2022-09-16T19:23:13Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)
• What Would You Ask the Machine Learning Model? Identification of User Needs for Model Explanations Based on Human-Model Conversations [5.802346990263708]
  本研究は,対話的かつ反復的な対話探索から人間の操作者のニーズを予測モデルから収集するために,会話システムを用いた最初の試みである。 我々は、タイタニック号の生存確率を予測するために訓練された機械学習モデルについて話すためにDr_antを開発した。 1000以上の対話のコーパスを収集した上で、ユーザが聞きたいと思う最も一般的な質問を分析します。
  論文  参考訳（メタデータ） (2020-02-07T15:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。