論文の概要: Verifiable Social Reasoning for LLM Assistants
- arxiv url: http://arxiv.org/abs/2609.17496v1
- Date: Tue, 15 Sep 2026 17:37:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.639224
- Title: Verifiable Social Reasoning for LLM Assistants
- Title（参考訳）: LLMアシスタントのための社会的推論の検証
- Abstract要約: ユーザによる社会的推論を研究するためのマルチエージェントシミュレーションフレームワークであるFuseを紹介する。
Fuseでは、隠されたモチベーションを持つターゲットエージェントが、ユーザを表すエージェントを含む他のエージェントと対話し、評価されたアシスタントに照会して、ターゲットのモチベーションを推測する。
偽造は24kアノテーションによる人間の研究によって検証される。
- 参考スコア（独自算出の注目度）: 18.879370068754074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM assistants are widely used for daily social advice, yet evaluating their social reasoning in such consultation settings remains challenging since (i) it requires setups where the assistant learns about social situations from subjective user narratives, and (ii) social properties, such as others' intentions, typically lack verifiable ground truth. To address these challenges, we introduce Fuse, a multi-agent simulation framework for studying user-mediated social reasoning. In Fuse, a target agent with a hidden motive interacts with other agents including one representing the user, who then consults the evaluated assistant to infer the target's motive, providing verifiable ground truth by construction. Simulation faithfulness is validated through a human study with 24k annotations. We apply Fuse to 12 LLMs and demonstrate its analytical utility by systematically isolating key factors, showing that (i) user mediation compounds the inherent difficulty of social reasoning; (ii) LLMs exhibit systematic sensitivity to biased user framing; (iii) models can require more details than humans need to reach a correct prediction; and (iv) longer conversations do not always improve performance despite providing opportunities for clarifying questions. We open-source Fuse and a dataset with 21k examples.
- Abstract（参考訳）: LLMアシスタントは日々のソーシャルアドバイスに広く使われているが、このような相談環境下での社会的理由付けの評価は依然として困難である。
一 主観的ユーザ物語から社会事情を学習する施設、及び
(二)他人の意図のような社会的特性は、一般に検証可能な根拠の真理を欠いている。
これらの課題に対処するために、ユーザによる社会的推論を研究するためのマルチエージェント・シミュレーション・フレームワークであるFuseを紹介した。
Fuseでは、隠されたモチベーションを持つターゲットエージェントが、ユーザを代表するエージェントを含む他のエージェントと対話し、評価されたアシスタントを相談して、ターゲットのモチベーションを推測し、建設によって検証可能な土台真理を提供する。
シミュレーションの忠実さは、24kアノテーションを用いた人間の研究を通して検証される。
我々はFuseを12LLMに適用し,その解析的有用性を示す。
一 利用者調停は、社会的推論の固有の困難を兼ね備えている。
2 LLMは、バイアスのあるユーザフレーミングに対して系統的感受性を示す。
三 モデルは、人間が正しい予測に達するために必要な以上の詳細を必要とすることがある。
(4)質問を明確にする機会を提供するにもかかわらず、長い会話は必ずしもパフォーマンスを改善するとは限らない。
当社はFuseとデータセットをオープンソースで21kのサンプルで公開しています。
関連論文リスト
- Verbalizing LLMs' assumptions to explain and control sycophancy [62.927670321859495]
LLMは、真のアセスメントを提供するのではなく、"am I in the wrong?
LLMからこれらの仮定を抽出するフレームワークであるVerbalized Assumptionsを提案する。
我々の研究は、梅毒のメカニズムとしての仮定の新たな理解に貢献している。
論文 参考訳（メタデータ） (2026-04-03T14:15:43Z) - Debiasing Large Language Models toward Social Factors in Online Behavior Analytics through Prompt Knowledge Tuning [1.357291726431012]
帰属論は、個人が社会的文脈における他人の行動を、個人的(偏在的)および非個人的(直観的)因果性(situational)を用いてどのように評価するかを説明する。
人為的なコーパスに基づいて訓練された大規模言語モデル(LLM)は、社会的帰属過程を社会的文脈で暗黙的に模倣する可能性がある。
本稿では,社会的帰属知識を用いた2つの迅速な援助により,LSMの指示プロンプトを充実させることにより,そのようなバイアスを軽減するスケーラブルな手法を提案する。
論文 参考訳（メタデータ） (2026-03-28T00:15:40Z) - Implicit Humanization in Everyday LLM Moral Judgments [0.0]
近年,対話型情報システムの導入により,個人アドバイス検索などの複雑なタスクを含むユーザクエリの範囲が拡大している。
我々は,潜在的に有害な人為的予測を有する道徳的判断の要求として,特定のタイプのアドバイスを識別する。
本研究では, 言語的, 行動的, 認知的人為的手がかりを用いて, 4つの主要汎用LSMの応答におけるこれらの仮定の強化について検討した。
論文 参考訳（メタデータ） (2026-03-23T02:48:54Z) - Who's Asking? Evaluating LLM Robustness to Inquiry Personas in Factual Question Answering [15.641627064295237]
アイデンティティや専門知識,信念などの属性を伝達するユーザプロファイルを調査するペルソナに対して,ロバスト性を評価する。
このような手法はQAの精度を有意に変化させ、拒絶、幻覚的制限、役割の混乱といった障害モードを誘発する。
論文 参考訳（メタデータ） (2025-10-14T18:59:15Z) - Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。
静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。
我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
論文 参考訳（メタデータ） (2025-09-30T18:55:28Z) - Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。
本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。
キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。
このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文 参考訳（メタデータ） (2025-07-28T23:50:09Z) - Bridging Expertise Gaps: The Role of LLMs in Human-AI Collaboration for Cybersecurity [17.780795900414716]
本研究では,大規模言語モデル(LLM)が知的協力者として機能し,サイバーセキュリティ意思決定における専門的ギャップを埋めることができるかを検討する。
我々は,人間とAIのコラボレーションによって作業性能が向上し,フィッシング検出における偽陽性と侵入検出における偽陰性が低減されることを見出した。
論文 参考訳（メタデータ） (2025-05-06T04:47:52Z) - Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。
提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。
実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2024-10-30T17:35:44Z) - AgentSense: Benchmarking Social Intelligence of Language Agents through Interactive Scenarios [38.878966229688054]
本稿では,対話型シナリオを通して言語エージェントのソーシャルインテリジェンスをベンチマークするAgensSenseを紹介する。
ドラマティック理論に基づいて、エージェントセンスは、広範なスクリプトから構築された1,225の多様な社会的シナリオを作成するためにボトムアップアプローチを採用している。
我々はERG理論を用いて目標を分析し、包括的な実験を行う。
以上の結果から,LPMは複雑な社会シナリオ,特に高レベルの成長ニーズにおいて,目標達成に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2024-10-25T07:04:16Z) - Evaluating Large Language Models with Psychometrics [59.821829073478376]
本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。
私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。
LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。
SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
論文 参考訳（メタデータ） (2023-12-28T16:51:11Z) - Can You be More Social? Injecting Politeness and Positivity into
Task-Oriented Conversational Agents [60.27066549589362]
人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。
このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。
人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
論文 参考訳（メタデータ） (2020-12-29T08:22:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。