Fugu-MT 論文翻訳(概要): $\texttt{DIAMONDs}$: A Dataset for $\mathbb{D}$ynamic $\mathbb{I}$nformation $\mathbb{A}$nd $\mathbb{M}$ental modeling $\mathbb{O}$f $\mathbb{N}$umeric $\mathbb{D}$iscussions

論文の概要: $\texttt{DIAMONDs}$: A Dataset for $\mathbb{D}$ynamic $\mathbb{I}$nformation $\mathbb{A}$nd $\mathbb{M}$ental modeling $\mathbb{O}$f $\mathbb{N}$umeric $\mathbb{D}$iscussions

arxiv url: http://arxiv.org/abs/2505.12651v1
Date: Mon, 19 May 2025 03:05:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:11.373988
Title: $\texttt{DIAMONDs}$: A Dataset for $\mathbb{D}$ynamic $\mathbb{I}$nformation $\mathbb{A}$nd $\mathbb{M}$ental modeling $\mathbb{O}$f $\mathbb{N}$umeric $\mathbb{D}$iscussions
Title（参考訳）: $\texttt{DIAMONDs}$: A Dataset for $\mathbb{D}$ynamic $\mathbb{I}$nformation $\mathbb{A}$nd $\mathbb{M}$ental modeling $\mathbb{O}$f $\mathbb{N}$umeric $\mathbb{D}$iscussions
Authors: Sayontan Ghosh, Mahnaz Koupaee, Yash Kumar Lal, Pegah Alipoormolabashi, Mohammad Saqib Hasan, Jun Seok Kang, Niranjan Balasubramanian,
Abstract要約: 本稿では,高品質なベンチマーク・問合せペアを生成するためのスケーラブルな手法を提案する。 $texttDIAMONDs$は新しい会話型QAデータセットで、共通のビジネス、財務、その他のグループインタラクションをカバーしている。我々の最先端言語モデルに対する評価は、参加者中心の推論を扱う上で重要な課題であることを示している。
参考スコア（独自算出の注目度）: 16.052621415969696
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Understanding multiparty conversations demands robust Theory of Mind (ToM) capabilities, including the ability to track dynamic information, manage knowledge asymmetries, and distinguish relevant information across extended exchanges. To advance ToM evaluation in such settings, we present a carefully designed scalable methodology for generating high-quality benchmark conversation-question pairs with these characteristics. Using this methodology, we create $\texttt{DIAMONDs}$, a new conversational QA dataset covering common business, financial or other group interactions. In these goal-oriented conversations, participants often have to track certain numerical quantities (say $\textit{expected profit}$) of interest that can be derived from other variable quantities (like $\textit{marketing expenses, expected sales, salary}$, etc.), whose values also change over the course of the conversation. $\texttt{DIAMONDs}$ questions pose simple numerical reasoning problems over such quantities of interest (e.g., $\textit{funds required for charity events, expected company profit next quarter}$, etc.) in the context of the information exchanged in conversations. This allows for precisely evaluating ToM capabilities for carefully tracking and reasoning over participants' knowledge states. Our evaluation of state-of-the-art language models reveals significant challenges in handling participant-centric reasoning, specifically in situations where participants have false beliefs. Models also struggle with conversations containing distractors and show limited ability to identify scenarios with insufficient information. These findings highlight current models' ToM limitations in handling real-world multi-party conversations.
Abstract（参考訳）: マルチパーティの会話を理解するには、動的情報を追跡し、知識の対称性を管理し、拡張された交換所間で関連情報を識別する機能を含む、堅牢な心の理論(ToM)機能が必要である。このような環境でのToM評価を進めるために,これらの特徴を活かした高品質なベンチマーク・問合せペアを生成するためのスケーラブルな手法を慎重に設計する。この手法を用いて、共通のビジネス、財務、その他のグループ間相互作用をカバーする新しい会話型QAデータセットである$\texttt{DIAMONDs}$を作成します。これらの目標志向の会話では、参加者は、他の変動量($\textit{marketing expenses, expected sales, salary}$など)から導出される、ある数値(例えば$\textit{expected profit}$)を追跡しなければならないことが多い。また、会話の途中で価値も変化する。 $\texttt{DIAMONDs}$ questionは、このような関心事(例えば、チャリティーイベントに必要な$\textit{funds、次の四半期の企業利益など)に関する単純な数値推論の問題を引き起こす。 ) 会話で交換された情報の文脈において。これにより、参加者の知識状態を注意深く追跡し、推論するためのToM機能を正確に評価することができる。現状の言語モデルに対する我々の評価は、参加者中心の推論を扱う上で、特に参加者が誤った信念を持っている状況において、大きな課題が浮かび上がっていることを示している。モデルは、邪魔者を含む会話に苦労し、不十分な情報を持つシナリオを識別する限られた能力を示す。これらの知見は、現実のマルチパーティ会話を扱う上で、現在のモデルのToM制限を強調している。

論文の概要: $\texttt{DIAMONDs}$: A Dataset for $\mathbb{D}$ynamic $\mathbb{I}$nformation $\mathbb{A}$nd $\mathbb{M}$ental modeling $\mathbb{O}$f $\mathbb{N}$umeric $\mathbb{D}$iscussions

関連論文リスト