論文の概要: Conv-to-Bench: Evaluating Language Models Via User-Assistant Dialogues In Code Tasks

• arxiv url: http://arxiv.org/abs/2605.26440v1
• Date: Tue, 07 Apr 2026 23:09:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.492081
• Title: Conv-to-Bench: Evaluating Language Models Via User-Assistant Dialogues In Code Tasks
• Title（参考訳）: Conv-to-Bench: コードタスクにおけるユーザ支援対話による言語モデルの評価
• Abstract要約: Conv-to-Benchは、真のマルチターンユーザアシスタント対話を構造化され、検証可能な要求チェックリストに変換するフレームワークである。 プログラミングに応用して、Conv-to-Benchは、人間が認可した標準とほぼ完璧なアライメントを示す評価セットを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) has outpaced the scalability of traditional evaluation benchmarks, which remain heavily dependent on labor-intensive expert curation. We address this bottleneck with Conv-to-Bench, a multi-stage framework that automatically transforms authentic multi-turn user-assistant dialogues into structured, verifiable requirement checklists. By leveraging the "instructional evolution" found in real-world conversational logs, our approach deconstructs fragmented user intent into consolidated instructions and binary evaluation criteria. Applied to the programming domain, Conv-to-Bench produces evaluation sets that demonstrate near-perfect alignment with human-authored standards like BigCodeBench, achieving Spearman correlations of up to $ρ$ = 1.000 with significantly lower computational overhead. Validation of the LLM-as-a-judge framework further confirms its reliability, with the primary evaluator achieving substantial agreement with human-verified ground truth ($κ$ = 0.705). Our comprehensive ablation studies reveal that while multi-turn interactions capture the iterative evolution of user intent, instruction-centric extraction provides a more robust foundation. Ultimately, Conv-to-Bench provides a scalable, cost-effective paradigm for maintaining high-fidelity evaluation standards as user-centric AI applications continue to diversify.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、従来の評価ベンチマークのスケーラビリティを大きく上回っている。 このボトルネックに対処するマルチステージフレームワークであるConv-to-Benchは,マルチターンユーザアシスト対話を自動的に構造化し,検証可能な要件チェックリストに変換する。 実世界の会話ログに見られる「教育進化」を活用することで、断片化されたユーザ意図を統合命令とバイナリ評価基準に分解する。 プログラミング領域に適用されたConv-to-Benchは、BigCodeBenchのような人間が認可する標準とほぼ完璧なアライメントを示す評価セットを生成し、計算オーバーヘッドを大幅に減らし、最大$ρ$ = 1.000のスピアマン相関を達成している。 LLM-as-a-judgeフレームワークの検証は、その信頼性をさらに確認し、主要な評価者は、人間の検証された真実と実質的な合意(κ$ = 0.705)を達成している。 我々の包括的アブレーション研究は、マルチターンインタラクションがユーザの意図の反復的な進化を捉えている一方で、命令中心の抽出がより堅牢な基盤を提供することを示している。 最終的に、Conv-to-Benchは、ユーザ中心のAIアプリケーションが多様化を続けるにつれて、高忠実度評価標準を維持するために、スケーラブルでコスト効率のよいパラダイムを提供する。

関連論文リスト

• GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
  GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。 我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。 人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
  論文  参考訳（メタデータ） (2026-08-30T15:39:39Z)
• Leveraging Large Language Models for Trustworthiness Assessment of Web Applications [13.909850314037653]
  本研究では,大規模言語モデル(LLM)を活用したWebアプリケーションの信頼性評価を自動化する実証的手法を提案する。 本稿では,LSP(Logic Score of Preference)に基づく階層品質モデルの拡張を提案する。 実験結果から,過度な構造的コンテキストがノイズを発生させる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-24T23:33:54Z)
• UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
  対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。 UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
  論文  参考訳（メタデータ） (2026-03-24T13:01:31Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• A Theoretical Framework for Adaptive Utility-Weighted Benchmarking [0.0]
  本稿では,ベンチマークを重み付けによる評価指標,モデルコンポーネント,利害関係者グループとして再認識する理論的枠組みを提案する。 コンジョイント由来のユーティリティとHuman-in-the-loop更新ルールを用いて、人間のトレードオフをベンチマーク構造に組み込む方法と、ベンチマークが安定性と解釈可能性を維持しながら動的に進化する方法を定式化する。
  論文  参考訳（メタデータ） (2026-02-12T19:33:47Z)
• Multimodal Fact-Level Attribution for Verifiable Reasoning [80.60864342985748]
  マルチモーダル大言語モデル(MLLM)は、多段階推論と長文生成を含む実世界のタスクにますます利用されている。 既存のマルチモーダルグラウンドベンチマークと評価手法は、複雑なマルチモーダル推論における属性評価に失敗する。 我々は、直接観察以上の推論を必要とする設定において、ファクトレベルのマルチモーダル属性を評価するためのベンチマークであるMuRGAtを紹介する。
  論文  参考訳（メタデータ） (2026-02-12T03:10:02Z)
• Benchmarking Contextual Understanding for In-Car Conversational Systems [0.9437812993238097]
  In-car Conversational Question Answering (ConvQA) システムは,シームレスな音声対話を実現することでユーザエクスペリエンスを著しく向上させる。 本稿では,Large Language Models (LLMs) と高度なプロンプト技術およびエージェントベース手法を用いて,ConvQAシステム応答がユーザの発話に適合する程度を評価する。
  論文  参考訳（メタデータ） (2025-12-12T21:15:49Z)
• Toward a unified framework for data-efficient evaluation of large language models [12.922829524961813]
  LEGO-IRTはデータ効率の大きな言語モデル評価のための統一的で柔軟なフレームワークです。 バイナリと継続的評価のメトリクスの両方をサポートする。 LEGO-IRTは,全体の評価項目のわずか3%の費用で,安定した能力推定を実現していることを示す。
  論文  参考訳（メタデータ） (2025-10-05T06:13:50Z)
• TRUEBench: Can LLM Response Meet Real-world Constraints as Productivity Assistant? [11.400738388392654]
  大規模言語モデル(LLM)は生産性アシスタントとしてますます統合されている。 既存のベンチマークは、実世界の命令追跡能力を厳格に評価するに足りていない。 LLMベースの生産性アシスタント用に特別に設計されたベンチマークであるTRUEBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T08:05:32Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
  ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。 我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。 我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-07-07T12:53:00Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• CheckEval: A reliable LLM-as-a-Judge framework for evaluating text generation using checklists [15.19714327680248]
  チェックリストに基づく評価フレームワークであるCheckEvalを導入する。 CheckEvalは、評価モデル間の平均一致を0.45改善し、スコアのばらつきを低減します。
  論文  参考訳（メタデータ） (2024-03-27T17:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。