論文の概要: From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems

• arxiv url: http://arxiv.org/abs/2511.10871v1
• Date: Fri, 14 Nov 2025 00:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.377433
• Title: From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems
• Title（参考訳）: ファクトから判断へ:対話システムにおけるタスク・フレーミングがLLMの信念に及ぼす影響について
• Authors: Parisa Rabbani, Nimet Beyza Bozdag, Dilek Hakkani-Tür,
• Abstract要約: 本研究では,タスクが直接の事実クエリから会話的判断タスクにリフレームされると,LCMの信念がどう変化するかを検討する。 両条件に単純な反論(前の答えは正しくない)の形で圧力を適用する。 以上の結果から, GPT-4o-miniのようなモデルでは, 社会的フレーミング作業下でのシコファン性傾向が明らかにされているが, Llama-8B-Instructのようなモデルでは過度に批判的になる。
• 参考スコア（独自算出の注目度）: 8.8953040142657
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLMs are increasingly employed as judges across a variety of tasks, including those involving everyday social interactions. Yet, it remains unclear whether such LLM-judges can reliably assess tasks that require social or conversational judgment. We investigate how an LLM's conviction is changed when a task is reframed from a direct factual query to a Conversational Judgment Task. Our evaluation framework contrasts the model's performance on direct factual queries with its assessment of a speaker's correctness when the same information is presented within a minimal dialogue, effectively shifting the query from "Is this statement correct?" to "Is this speaker correct?". Furthermore, we apply pressure in the form of a simple rebuttal ("The previous answer is incorrect.") to both conditions. This perturbation allows us to measure how firmly the model maintains its position under conversational pressure. Our findings show that while some models like GPT-4o-mini reveal sycophantic tendencies under social framing tasks, others like Llama-8B-Instruct become overly-critical. We observe an average performance change of 9.24% across all models, demonstrating that even minimal dialogue context can significantly alter model judgment, underscoring conversational framing as a key factor in LLM-based evaluation. The proposed framework offers a reproducible methodology for diagnosing model conviction and contributes to the development of more trustworthy dialogue systems.
• Abstract（参考訳）: LLMは、日々の社会的相互作用を含む様々なタスクの審査員としてますます採用されている。 しかし、このようなLCM-judgesが社会的・会話的判断を必要とするタスクを確実に評価できるかどうかは不明である。 本研究では,タスクが直接の事実クエリから会話的判断タスクにリフレームされると,LCMの信念がどう変化するかを検討する。 我々の評価枠組みは, 話者が最小限の対話で同じ情報を提示した場合に, 話者の正当性を評価することで, モデルの性能を「この文は正しいのか?」から「正しいのか?」へ効果的にシフトさせる。 さらに、両方の条件に単純な反論("The previous answer is incorrect.")という形で圧力を適用する。 この摂動により、モデルが会話の圧力下でどのようにその位置を維持するかを測定することができる。 以上の結果から, GPT-4o-miniのようなモデルでは, 社会的フレーミング作業下でのシコファン性傾向が明らかにされているが, Llama-8B-Instructのようなモデルでは過度に批判的になる。 我々は,LLMに基づく評価において,会話のフレーミングが重要な要素であるとして,最小限の対話コンテキストでもモデル判断を著しく変更できることを実証し,すべてのモデルの平均的な9.24%の性能変化を観察した。 提案フレームワークは,モデルの信念を再現可能な方法で診断し,より信頼性の高い対話システムの開発に寄与する。

関連論文リスト

• VISTA Score: Verification In Sequential Turn-based Assessment [18.318681275086902]
  VISTAは,クレームレベルの検証と逐次一貫性トラッキングを通じて,会話の事実性を評価するためのフレームワークである。 VISTAは、各アシスタントをアトミックな事実的クレームに分解し、信頼された情報源や対話履歴に対して検証し、検証不可能なステートメントを分類する。 人間による評価では、VISTAの分解はアノテーションの一致を改善し、既存のベンチマークの不整合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-30T23:45:13Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。