論文の概要: Evaluating Language Models in Realistic Conversational Contexts

• arxiv url: http://arxiv.org/abs/2608.26131v1
• Date: Wed, 24 Jun 2026 01:33:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.355426
• Title: Evaluating Language Models in Realistic Conversational Contexts
• Title（参考訳）: 現実的な会話文脈における言語モデルの評価
• Abstract要約: UPHELD(UPwork Human-Scale Evaluated Long Dialogues, UPHELD)は, ヒューマンスケールの会話能力を評価するための参照フルベンチマークである。 UPHELDは、プロの脚本家によって書かれた数百の人間と人間の対話から成り、現実的なターン密度とターン当たりのアノテーションが36,000以上ある。 UPHELDを用いて、複数の評価信号を組み合わせたMixture-of-Judgesフレームワークを開発し、人間の評価との相関を約30%改善する。
• 参考スコア（独自算出の注目度）: 2.426432116276325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) are increasingly deployed to serve open-ended, multi-turn interactions, evaluating conversational quality at human scale has become a central challenge. Existing evaluation frameworks built for summarization, translation, or short-form QA tasks fall short of adequately measuring the consistency of human-scale dialogue, especially when derivation and validation of these metrics themselves often rely on synthetic rather than human sources. We fill the gap by introducing UPHELD (UPwork Human-Scale Evaluated Long Dialogues), a large, reference-full benchmark for evaluating human-scale conversational ability beyond factual correctness. UPHELD consists of hundreds of complete human-to-human dialogues authored by professional script writers, with realistic turn densities and 36,000+ per-turn human annotations across 30,000+ expert-generated dialogue turns. Using UPHELD, we systematically evaluate classical automatic metrics and reference-free LLM-as-a-judge approaches, and find them unreliable when correlated with expert human judgment. Building off this analysis, we use UPHELD to develop a Mixture-of-Judges framework that combines multiple evaluative signals and improves correlation with human assessments by approximately 30%. Overall, UPHELD provides a robust, human-grounded foundation for evaluating human-scale conversational intelligence that fills a crucial gap in the pre-existing LLM dataset landscape.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、オープンエンドでマルチターンなインタラクションを実現するためにますますデプロイされているため、ヒューマンスケールでの会話品質の評価が中心的な課題となっている。 要約、翻訳、ショートフォームのQAタスクのために構築された既存の評価フレームワークは、人間のスケールの対話の一貫性を適切に測定できない。 このギャップを埋めるのはUPHELD(UPwork Human-Scale Evaluated Long Dialogues)である。 UPHELDは、プロの脚本作家によって書かれた数百の人間と人間の対話で構成されており、現実的なターン密度と3万以上の専門家が生成した対話で、1ターンあたりのアノテーションが3万6000以上ある。 UPHELDを用いて,古典的自動指標と基準のないLCM-as-a-judgeアプローチを体系的に評価し,専門家の判断と相関して信頼性が低いことを示す。 この分析に基づいて、UPHELDを用いて、複数の評価信号を組み合わせたMixture-of-Judgesフレームワークを開発し、人間の評価との相関を約30%改善する。 UPHELDは、既存のLLMデータセットのランドスケープにおいて重要なギャップを埋める、人間のスケールの会話インテリジェンスを評価するための、堅牢で人為的な基盤を提供する。

関連論文リスト

• Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions [11.415343473837583]
  パーソナ指定の大規模言語モデル(LLM)は、教育、医療、社会デマグラフィーシミュレーションなどの領域で使用されている。 本研究では,長期の対話と評価データセットを組み合わせた評価プロトコルを導入し,対話条件付きベンチマークを作成する。 対話の過程でペルソナの忠実度は低下し,特に目標志向の会話では低下することがわかった。
  論文  参考訳（メタデータ） (2025-12-14T17:27:02Z)
• Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models [118.44328586173556]
  MLLM(Multimodal Large Language Models)は視覚的理解タスクにおいて大きな進歩を見せている。 Human-MMEは、人間中心のシーン理解におけるMLLMのより総合的な評価を提供するために設計された、キュレートされたベンチマークである。 我々のベンチマークは、単一対象の理解を多対多の相互理解に拡張する。
  論文  参考訳（メタデータ） (2025-09-30T12:20:57Z)
• A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators [46.939611070781794]
  大規模言語モデル(LLM)は、人間の裁判官にとって有望な代用であることが示されている。 我々は,最近出現した30個のLLMの多次元評価能力をターンレベルとダイアログレベルの両方で解析した。 また,旋回と対話の両レベルにおいて,様々な逆方向の摂動に対処するLLMの頑健性についても検討した。
  論文  参考訳（メタデータ） (2023-12-24T04:50:57Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Learning and Evaluating Human Preferences for Conversational Head Generation [101.89332968344102]
  そこで我々は,異なる次元の定量的評価に基づいて,人間の嗜好を適合させる学習ベース評価尺度であるPreference Score(PS)を提案する。 PSは人間のアノテーションを必要とせずに定量的評価を行うことができる。
  論文  参考訳（メタデータ） (2023-07-20T07:04:16Z)
• Approximating Online Human Evaluation of Social Chatbots with Prompting [11.657633779338724]
  既存の評価指標は、オフラインユーザ評価の自動化と、事前計算したダイアログの人的判断の近似を目的としている。 GPTファミリーの大規模言語モデル(LLM)を利用したオンライン人間評価の近似手法を提案する。 Prompting (DEP) に基づく新しいダイアログシステム評価フレームワークを導入し,完全な自動評価パイプラインを実現する。
  論文  参考訳（メタデータ） (2023-04-11T14:45:01Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。