論文の概要: Words or Deeds? How LLMs Predict Users' Decisions in Human-Agent Dialogue
- arxiv url: http://arxiv.org/abs/2610.36813v1
- Date: Tue, 27 Oct 2026 08:14:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.543722
- Title: Words or Deeds? How LLMs Predict Users' Decisions in Human-Agent Dialogue
- Title(参考訳): 言葉か行為か : LLMが人文対話におけるユーザの判断をいかに予測するか
- Abstract要約: ユーザの声明と意思決定記録を組み合わせることで,ユーザの判断を予測する。
意思決定記録からの予測は, 相違点と相違点があることが判明した。
対話では、予測はユーザーの発言とよく一致した。
- 参考スコア(独自算出の注目度): 24.65092022253521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Web systems increasingly predict users' decisions from what users say, yet when interests partly conflict, users may promise to cooperate to win the other side's cooperation and then not do so. Sales or service agents that rely on such promises may grant concessions to users who then do not keep their promises, at a cost to the party they represent. We test how LLMs combine users' statements with decision records to predict users' decisions, using 1,260 rounds in which 42 users played a repeated prisoner's dilemma-style game with five agents, each prompted to express a dominant Big Five trait, and could talk with the agent before every decision. Across eight open-weight LLMs, predictions from decision records separated cooperation from defection well (AUC = .80), and adding dialogue brought no detectable gain. With dialogue, predictions agreed with users' statements more often, and errors concentrated on rounds in which users broke their statements: accuracy on rounds with a statement barely changed (.73 to .74), while it rose on kept statements (.76 to .95) and fell sharply on broken ones (.65 to .17). Predictions weighted statements more heavily than users' behavior warranted: when users stated a decision they had not yet made in that game, the predicted probability of keeping it rose from .13 to .69, whereas users kept .40 of such statements. Users' decisions also varied with the agent they faced, but predictions hardly reflected this: users cooperated more with the Agreeableness agent than with the Extraversion agent (70.6% vs. 54.5%), whereas predicted cooperation was nearly identical (64.5% vs. 63.1%). Users also cooperated more with an agent when they themselves scored higher on that agent's trait, whereas predicted cooperation barely changed with these scores. Dialogue-based predictions should therefore weigh users' statements by their earlier decisions and the agent they face.
- Abstract(参考訳): ウェブシステムは、ユーザーが何を言っているかからユーザーの判断を予測する傾向にあるが、利害が部分的に対立すると、ユーザは、相手の協力に勝つことを約束し、そうしないかもしれない。
このような約束に頼っているセールスまたはサービスエージェントは、その約束を守らないユーザに対して、彼らが代表するパーティーに代えて譲歩する可能性がある。
LLMがユーザの声明と意思決定記録を組み合わせてユーザの判断を予測する方法をテストする。1260ラウンドでは、42人のユーザが5人のエージェントで繰り返し囚人のジレンマスタイルのゲームをプレイし、それぞれが支配的な5つの特徴を表現し、すべての決定の前にエージェントと話をすることができる。
8つのオープンウェイト LLM にまたがって、決定レコードからの予測は、協調と欠陥(AUC = .80)を分離し、対話を追加することで、検出可能な利得は得られなかった。
対話では、ユーザの発言に頻繁に同意し、ユーザが声明を破るラウンドにエラーが集中した: 文がほとんど変更されていないラウンドの正確さ(.73から.74)、継続された文(.76から.95)で上昇し、壊れたラウンド(.65から.17)で急落した。
ユーザーの行動よりも重み付けされた文は、ユーザーがそのゲームでまだ決定していないと宣言したとき、.13から.69に維持する確率は上昇し、ユーザーはそのような文を.40に保持した。
ユーザーはエクストラバージョンエージェント(70.6%対54.5%)よりもアグリーブルネスエージェント(64.5%対63.1%)と協力した。
ユーザーはエージェントの性格を高く評価すると、エージェントとの協力も深まり、予測された協力はこれらのスコアではほとんど変化しなかった。
対話に基づく予測は、以前の判断と直面するエージェントによってユーザーの発言を測るべきである。
関連論文リスト
- Do LLMs Act on What They Know? From Partner Representations to Cooperative Actions [50.59575731390721]
馴染みのないパートナーとの協力は、事前に知られていないコミュニケーション慣行に適応する必要がある。
一般ルールや外部計算されたアクションレコメンデーションとして提示されるプローブ予測および地道規則を比較した。
Qwen3-8Bのケーススタディでは、一致ステートステートステートの逆転はルールステートよりもアクションレコメンデーションに対する感受性が高いことが示されている。
論文 参考訳(メタデータ) (2026-10-06T10:44:55Z) - UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training [0.3757813713418657]
現在のベンチマークはエージェントのみをスコアし、ユーザが割り当てられたロールを正しく実行したかどうかを直接測定しない。
本稿では,tau-benchファミリ上の評価層であるUser ProxyBenchと,ベンチマークのプライベートユーザ命令への準拠性を測定するUser Fidelity Score(UFS)を紹介する。
GPT-5.5で固定されたエージェントを保持し、375のエンタープライズタスクにまたがるユーザプロキシだけを変更すると、タスク報酬の平均15.2ポイントが変更され、成功エピソードの24.4%がユーザ特定違反を含んでいることがわかった。
論文 参考訳(メタデータ) (2026-09-29T17:17:24Z) - Authority Bias in Language Models: Source Deference and User Agreement Are Not Interchangeable [1.0742675209112622]
言語モデルは、ユーザが主張するものと一致しがちである。
オープンウェイトな5つのファミリーと3つのクローズドAPIのギャップを測定します。
ソースの推論とユーザ合意はモデル内での振る舞いの交換にはなりません。
論文 参考訳(メタデータ) (2026-09-29T13:58:04Z) - Reinforcement Learning of Communication in a Mesh of Small Language Models [0.0]
私たちは、小さな言語モデルエージェントの分散メッシュであるTalkMeshを紹介します。
各エージェントは提案をサンプリングし、訓練された信頼度ヘッドでスコア付けする。
最も自信のあるエージェントはヒントを放送し、エージェントは信頼のしきい値以下で修正し、各リビジョンは提案を上回ります。
ゴシップ・コンセンサス(Gossip consensus)は、コーディネーターを使わずに、自信によって重み付けられた票を近似する。
論文 参考訳(メタデータ) (2026-09-24T21:41:12Z) - Self-Organizing Agent Teams Learn to Reason Together [52.45199430212268]
私たちは、以前のコラボレーションから再利用可能な戦略を学び、役割、会話フェーズ、参加、情報の流れを整理する、AIエージェントの固定チームである、自己組織化エージェントチーム(SAT)を紹介します。
これらの戦略は、私たちがコラボレーティブ計算と呼ぶものを可能にします。エージェントの交換、チャレンジ、修復、そして、メンバーが独立して生成しないソリューションへの部分的推論を合成します。
論文 参考訳(メタデータ) (2026-09-19T01:27:40Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳(メタデータ) (2026-04-09T16:50:50Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳(メタデータ) (2025-10-16T05:29:36Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳(メタデータ) (2025-07-29T17:34:12Z) - AgentCF: Collaborative Learning with Autonomous Language Agents for
Recommender Systems [112.76941157194544]
本稿では,エージェントベースの協調フィルタリングにより,レコメンデータシステムにおけるユーザとイテムのインタラクションをシミュレートするエージェントCFを提案する。
我々は、ユーザだけでなく、アイテムをエージェントとして、創造的に考慮し、両方のエージェントを同時に最適化する協調学習アプローチを開発します。
全体として、最適化されたエージェントは、ユーザ・イテム、ユーザ・ユーザ・ユーザ、アイテム・イテム、集合的インタラクションなど、フレームワーク内での多様なインタラクションの振る舞いを示す。
論文 参考訳(メタデータ) (2023-10-13T16:37:14Z) - My Actions Speak Louder Than Your Words: When User Behavior Predicts
Their Beliefs about Agents' Attributes [5.893351309010412]
行動科学は、人々が時々無関係な情報を使用することを示唆している。
この現象の例としては、人間とエージェントの相互作用においてより良い結果を経験したユーザーが、そのエージェントをより優れた能力を持ち、好意的であり、また、自身の行動の結果である、より悪い結果を経験したユーザーよりも、ポストホックアセスメントにおいてより整合性を示すと体系的に評価した。
分析の結果,モデルの拡張の必要性が示唆され,そのような偏見を考慮し,エージェントがこのようなバイアスを検知し,積極的に行動し,ユーザの類似した偏見を補正するメカニズムも説明できる。
論文 参考訳(メタデータ) (2023-01-21T21:26:32Z) - A Transformer-Based User Satisfaction Prediction for Proactive
Interaction Mechanism in DuerOS [12.060990859604681]
そこで本研究では,ユーザに対して提示する前に,ユーザの満足度とユーザの反応を予測できる能動的インタラクション機構を提案する。
ユーザが予測に応じて満足できない場合、システムはユーザの本当の意図を決定するのに適した質問をユーザに尋ねる。
当社のモデルをDuerOS上に展開・評価し,ユーザ満足度予測の精度に対する19%の相対的改善と,ユーザエクスペリエンスに対する2.3%の相対的改善を観察した。
論文 参考訳(メタデータ) (2022-12-05T09:17:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。