論文の概要: Can large language models interpret unstructured chat data on dynamic group decision-making processes? Evidence on joint destination choice

• arxiv url: http://arxiv.org/abs/2601.05582v1
• Date: Fri, 09 Jan 2026 07:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.882229
• Title: Can large language models interpret unstructured chat data on dynamic group decision-making processes? Evidence on joint destination choice
• Title（参考訳）: 大規模言語モデルは動的グループ決定過程における非構造化チャットデータを解釈できるか? : 共同目的地選択に関する証拠
• Authors: Sung-Yoo Lim, Koki Sato, Kiyoshi Takami, Giancarlos Parady, Eui-Jin Kim,
• Abstract要約: 本研究では,グループチャットから意思決定プロセスの解釈において,人間のアノテーションを自動補完する大規模言語モデルの可能性を評価する。 我々は知識獲得プロセスにインスパイアされたプロンプトフレームワークを設計し、重要な意思決定要因を逐次抽出した。 結果は、LLMが明確な決定要因を確実に捉える一方で、人間のアノテータが容易に識別できる暗黙の要因を特定するのに苦労していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social activities result from complex joint activity-travel decisions between group members. While observing the decision-making process of these activities is difficult via traditional travel surveys, the advent of new types of data, such as unstructured chat data, can help shed some light on these complex processes. However, interpreting these decision-making processes requires inferring both explicit and implicit factors. This typically involves the labor-intensive task of manually annotating dialogues to capture context-dependent meanings shaped by the social and cultural norms. This study evaluates the potential of Large Language Models (LLMs) to automate and complement human annotation in interpreting decision-making processes from group chats, using data on joint eating-out activities in Japan as a case study. We designed a prompting framework inspired by the knowledge acquisition process, which sequentially extracts key decision-making factors, including the group-level restaurant choice set and outcome, individual preferences of each alternative, and the specific attributes driving those preferences. This structured process guides the LLM to interpret group chat data, converting unstructured dialogues into structured tabular data describing decision-making factors. To evaluate LLM-driven outputs, we conduct a quantitative analysis using a human-annotated ground truth dataset and a qualitative error analysis to examine model limitations. Results show that while the LLM reliably captures explicit decision-making factors, it struggles to identify nuanced implicit factors that human annotators readily identified. We pinpoint specific contexts when LLM-based extraction can be trusted versus when human oversight remains essential. These findings highlight both the potential and limitations of LLM-based analysis for incorporating non-traditional data sources on social activities.
• Abstract（参考訳）: 社会的活動は、グループメンバー間の複雑な共同活動-旅行的決定から生じる。 これらの活動の意思決定プロセスの観察は、従来の旅行調査を通じて難しいが、非構造化チャットデータのような新しいタイプのデータの出現は、これらの複雑なプロセスに光を当てるのに役立つ。 しかし、これらの意思決定プロセスを理解するには、明示的な要因と暗黙的な要因の両方を推測する必要がある。 これは典型的には、社会的・文化的規範によって形成された文脈に依存した意味を捉えるために、対話を手動で注釈付けする労働集約的な作業である。 本研究では,グループチャットによる意思決定プロセスの自動化と補完を行うLarge Language Models (LLMs) の可能性について,日本における共同食事活動のデータを用いて検討した。 我々は、グループレベルのレストラン選択セットと結果、それぞれの選択肢の個別選好、それらの選好を駆動する特定の属性を含む重要な意思決定要素を逐次抽出する知識獲得プロセスに着想を得たプロンプトフレームワークを設計した。 この構造化プロセスにより、LLMはグループチャットデータを解釈し、非構造化対話を決定要因を記述した構造化表データに変換する。 LLMによる出力を評価するために,人間の注釈付き地上真実データセットと定性的誤り分析を用いて定量的解析を行い,モデルの限界について検討する。 結果は,LSMが明確な決定要因を確実に把握する一方で,人間のアノテータが容易に識別できる暗黙的要因の同定に苦慮していることを示している。 我々は、LLMに基づく抽出が信頼できる場合と、人間の監視が不可欠である場合とを、特定の文脈で特定する。 これらの知見は,非伝統的なデータソースを社会活動に組み込む上でのLCM分析の可能性と限界を浮き彫りにしている。

関連論文リスト

• Disambiguation in Conversational Question Answering in the Era of LLMs and Agents: A Survey [54.90240495777929]
  自然言語処理(NLP)におけるあいまいさは依然として根本的な課題である LLM(Large Language Models)の出現により、あいまいさに対処することがさらに重要になった。 本稿では,言語駆動システムにおけるあいまいさの定義,形態,含意について考察する。
  論文  参考訳（メタデータ） (2025-05-18T20:53:41Z)
• Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
  本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
  論文  参考訳（メタデータ） (2025-01-14T14:49:14Z)
• Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
  自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。 カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。 本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-27T15:13:06Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• From Feature Importance to Natural Language Explanations Using LLMs with RAG [4.204990010424084]
  大規模言語モデル(LLM)の応答に外部知識リポジトリを活用して,トレーサブルな質問応答を導入する。 この知識リポジトリは、高レベルの特徴、特徴の重要性、代替確率を含む、モデルの出力に関するコンテキストの詳細を含む。 社会的・因果的・選択的・コントラスト的な4つの重要な特徴を、人間の説明に関する社会科学研究から一発のプロンプトへと統合し、応答生成過程を導く。
  論文  参考訳（メタデータ） (2024-07-30T17:27:20Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• LLM4Causal: Democratized Causal Tools for Everyone via Large Language Model [7.052058110182703]
  大きな言語モデル(LLM)は、言語理解と一般的なトピックの推論で成功していることを示している。 LLMをLLM4Causalに微調整することで、因果タスクを識別し、対応する関数を実行し、ユーザのクエリと提供されたデータセットに基づいてその数値結果を解釈できる可能性を探る。
  論文  参考訳（メタデータ） (2023-12-28T16:59:06Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
  算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。 これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
  論文  参考訳（メタデータ） (2023-05-24T11:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。