論文の概要: When Empathy Misses the Goal: A Benchmark for Goal Displacement in LLM Advice
- arxiv url: http://arxiv.org/abs/2610.25522v1
- Date: Sun, 18 Oct 2026 20:35:11 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:28:23.382817
- Title: When Empathy Misses the Goal: A Benchmark for Goal Displacement in LLM Advice
- Title（参考訳）: 共感がゴールを逃したとき - LLM アドバイザにおけるゴール変位のベンチマーク
- Abstract要約: ゴール変位はゴール関連物質に対するペルソナ保持量の置換である。
Goal Displacement Benchmarkは9つのドメインにわたる230のシナリオで構成されている。
逆変位は41.9%ドルに達し、無視できるトラップ変位を持つモデルではかなりの率である。
- 参考スコア（独自算出の注目度）: 0.8789461534728509
- License:
- Abstract: Conversational large language models can respond with warmth and reassurance while failing to advance the user's stated goal. We conceptualize this failure as $\textbf{goal displacement}$, the substitution of persona-maintenance content for goal-relevant substance. To measure it, we introduce $\textbf{GDB}$ (Goal Displacement Benchmark), comprising 230 scenarios across nine domains and $4{,}134$ human-scored responses from 18 models. A $2 \times 2$ taxonomy crosses hard constraints with emotional distress, distinguishing failures to confront infeasible goals or combine empathy with practical guidance from reverse displacement, where unsolicited problem-solving replaces requested emotional support. A deletion-test rubric assesses whether substantive help remains after purely supportive sentences are removed. Independent raters achieve weighted $κ= 0.82$ against author scores for displacement severity. Trap displacement ranges from $0.0\%$ to $37.7\%$ and is strongly negatively correlated with Chatbot Arena Elo ($ρ= -0.706$, $n = 15$). Reverse displacement reaches $41.9\%$, including substantial rates in models with negligible trap displacement. A factorial probe supports a distinction from social sycophancy. Human-scored responses in the high-complexity, low-pressure condition exhibit $35.0\%$ sycophancy but $7.5\%$ displacement, with little association between the constructs. Matched OLMo-2 checkpoints show that mixed empathy-with-constraints displacement remains at $52.3\%$ after supervised fine-tuning and falls to $13.8\%$ after direct preference optimization. GDB provides a reproducible diagnostic of whether responses advance the operationalized user goal, supporting model comparison, post-training evaluation, and regression testing. We release the dataset, annotations, and rubric under CC-BY-4.0 and the evaluation code under MIT.
- Abstract（参考訳）: 対話型大規模言語モデルは、ユーザの指定した目標を前進させるのに失敗しながら、暖かさと安心に反応することができる。
我々は、この失敗をゴール関連物質に対するペルソナ保守内容の置換である$\textbf{goallocation}$として概念化する。
これを測定するために、9つのドメインにわたる230のシナリオと18モデルからの4{,}134$のヒューマンスコア付きレスポンスを含む$\textbf{GDB}$(Goal Displacement Benchmark)を紹介した。
2ドルのタコノミーは、感情的な苦悩と厳しい制約を交わし、実現不可能な目標に直面する失敗を区別したり、逆転からの実践的なガイダンスと共感を組み合わせたりする。
削除テストルーリックは、純粋に支持された文が削除された後、実体的助けが残るかどうかを評価する。
独立型ラッカーは、重み付きκ=0.02ドルを、変位重みに対する著者のスコアに対して達成する。
トラップ変位は0.0\%$から37.7\%$までの範囲で、Chatbot Arena Elo(ρ=-0.706$, $n = 15$)と強く相関している。
逆変位は41.9 %$に達し、無視できるトラップ変位を持つモデルではかなりの率となる。
因子的プローブは、社会的梅毒との違いを支持する。
高複雑さの低気圧状態における人為的な反応は、35.0 %$ sycophancy を示すが、7.5 %$ 変位を示すが、構成物の間にはほとんど関連がない。
一致したOLMo-2チェックポイントは、混合共感と制約付き変位が監督された微調整後に52.3 %$で、直接の選好最適化後に13.8 %$になることを示している。
GDBは、応答が操作されたユーザ目標を前進させるかどうかの再現可能な診断、モデル比較のサポート、トレーニング後の評価、回帰テストを提供する。
CC-BY-4.0でデータセット、アノテーション、ルーブリックを、MITで評価コードをリリースする。
関連論文リスト
- Interaction-as-a-Judge [84.01557166157401]
コンピュータ利用エージェント(CUA)がアプリケーションと直接対話する評価パラダイムであるInteraction-as-a-Judgeについて検討する。
標準的な非対話的アプローチとは対照的に、インタラクション・アズ・ア・ジャッジは人間の嗜好を予測することで評価を改善する。
優先順位調整と要件検証の両面から、高品質なインタラクションによってパフォーマンスが向上する、というスケーリングのメリットも観察しています。
論文 参考訳（メタデータ） (2026-10-13T07:49:50Z) - HERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval Rewards [7.036896099993471]
HERALDは、全く同じ調査介入を適用するオフライン監査である。
R[L]$はHotpotQAと2WikiのEM非偽りのゲートと出会うが、MuSiQueではない。
論文 参考訳（メタデータ） (2026-08-06T13:15:54Z) - More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。
トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。
明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
論文 参考訳（メタデータ） (2026-07-10T10:35:24Z) - Displacement Is Not Direction: Evaluating Fidelity Metrics for Quantized LLM Deployment [0.7249731529275342]
高精度参照に対するKL偏差(KLD)のような忠実度指標は、ベンチマーク品質の低コストプロキシとして実際に使用されることが多い。
KLDは全コホートに対するベンチマークスコアと強く相関していることがわかった。
しかし、この関係は、ほぼベースラインのサイレントゾーンにおいて非重要な状態に崩壊する。
論文 参考訳（メタデータ） (2026-06-17T19:59:26Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。
平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
論文 参考訳（メタデータ） (2026-05-25T15:57:11Z) - Beyond the Assistant Turn: User Turn Generation as a Probe of Interaction Awareness in Language Models [3.9351446512514947]
ユーザ・ターン・ジェネレーションはLLMの振る舞いやインタラクション・アウェアネスの次元を捉えており、現在のアシスタント・オンリー・ベンチマークでは探索されていない。
この結果から,ユーザターン生成はLLMの振る舞いやインタラクションの認識の次元を捉えていることがわかった。
論文 参考訳（メタデータ） (2026-04-02T17:57:29Z) - Nearly Optimal Algorithms for Contextual Dueling Bandits from Adversarial Feedback [58.66941279460248]
人からのフィードバックから学ぶことは、大言語モデル(LLM)のような生成モデルを調整する上で重要な役割を果たす
本稿では,このドメイン内のモデルについて考察する。-文脈的デュエルバンディット(contextual dueling bandits)と,正の選好ラベルを相手によって反転させることができる対向フィードバック(reversarial feedback)について考察する。
本稿では,不確実性重み付き最大推定に基づく頑健なコンテキストデュエルバンドイット(RCDB)を提案する。
論文 参考訳（メタデータ） (2024-04-16T17:59:55Z) - Group Pose: A Simple Baseline for End-to-End Multi-person Pose
Estimation [102.02917299051757]
グループ・ポース(Group Pose)と呼ばれる単純だが効果的なトランスフォーマー・アプローチを提案する。
すべての$Ntimes(K+1)$クエリに対して単一の自己アテンションを、その後の2つのグループ自己アテンションに置き換える。
MS COCO と CrowdPose の実験結果から,従来の手法よりもヒトボックスの監督を伴わないアプローチの方が優れていることが示された。
論文 参考訳（メタデータ） (2023-08-14T17:58:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。