論文の概要: Results-Actionability Gap: Understanding How Practitioners Evaluate LLM Products in the Wild

• arxiv url: http://arxiv.org/abs/2604.16304v1
• Date: Sun, 25 Jan 2026 10:36:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.867571
• Title: Results-Actionability Gap: Understanding How Practitioners Evaluate LLM Products in the Wild
• Title（参考訳）: 結果-アクティビティギャップ:実践者が野生のLLM製品をどのように評価するかを理解する
• Abstract要約: 組織的なメタワークに対して,非公式な"バイブチェック"にまたがる10の評価プラクティスを特定します。 実践者は評価データを収集するが、その結果を具体的改善に変換することはできない。 本分析は,これらの解釈実践が,方法論的失敗よりもLCM特性に適応する必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 33.360335897400965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do product teams evaluate LLM-powered products? As organizations integrate large language models (LLMs) into digital products, their unpredictable nature makes traditional evaluation approaches inadequate, yet little is known about how practitioners navigate this challenge. Through interviews with nineteen practitioners across diverse sectors, we identify ten evaluation practices spanning informal 'vibe checks' to organizational meta-work. Beyond confirming four documented challenges, we introduce a novel fifth we call the results-actionability gap, in which practitioners gather evaluation data but cannot translate findings into concrete improvements. Drawing on patterns from successful teams, we contribute strategies to bridge this gap, supporting practitioners' formalization journey from ad-hoc interpretive practices (e.g., vibe checks) toward systematic evaluation. Our analysis suggests these interpretive practices are necessary adaptations to LLM characteristics rather than methodological failures. For HCI researchers, this presents a research opportunity to support practitioners in systematizing emerging practices rather than developing new evaluation frameworks.
• Abstract（参考訳）: 製品チームはどのようにLCMを使った製品を評価するのか? 組織が大規模言語モデル(LLM)をデジタル製品に統合するにつれ、予測不可能な性質によって従来の評価アプローチが不十分になる。 多様な分野にわたる19人の実践者へのインタビューを通じて、非公式な「ビブチェック」から組織的メタワークまで10の評価プラクティスを特定した。 4つの文書化された課題の確認に加えて、我々は結果-反応可能性ギャップと呼ばれる新しい5番目の課題を紹介し、実践者が評価データを集めているが、その結果を具体的な改善には翻訳できない。 成功しているチームからのパターンに基づいて、私たちはこのギャップを埋めるための戦略に貢献し、実践者の形式化の旅を、アドホックな解釈プラクティス(例:バイブチェック)から体系的な評価まで支援します。 本分析は,これらの解釈実践が,方法論的失敗よりもLCM特性に適応する必要があることを示唆している。 HCI研究者にとって、新たな評価フレームワークを開発するのではなく、新興プラクティスを体系化する実践者を支援するための研究機会となる。

関連論文リスト

• An Expert Schema for Evaluating Large Language Model Errors in Scholarly Question-Answering Systems [1.9138416746729587]
  大規模言語モデル(LLM)は、探索や要約といった学術的なタスクを変換しているが、その信頼性は未だに不明である。 質問応答システムにおけるLCMの誤りを評価するためのスキーマを開発し,実験者の評価戦略を反映した。
  論文  参考訳（メタデータ） (2026-02-24T16:16:44Z)
• When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs [55.20230501807337]
  本報告では, 統一実験フレームワーク内での迅速なロバスト性向上のための5つの手法の体系的評価を行う。 Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットから52のタスクをベンチマークする。
  論文  参考訳（メタデータ） (2025-08-15T10:32:50Z)
• Tracking the Moving Target: A Framework for Continuous Evaluation of LLM Test Generation in Industry [0.5735035463793009]
  大きな言語モデル(LLM)は、テスト生成を含むソフトウェアテストタスクを自動化する大きな可能性を示しています。 彼らの急速な進化は、DevSecOpsを実装する企業にとって重要な課題である。 本研究は,産業環境下での商業LLMテストジェネレータの連続評価のための測定フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-26T18:08:13Z)
• Training an LLM-as-a-Judge Model: Pipeline, Insights, and Practical Lessons [9.954960702259918]
  本稿では,文脈認識評価を行うLLM(en:en:en:en:en:en:en:en:LLMs)ジャッジであるThemisを紹介する。 Themisの開発パイプラインの概要を概観し、シナリオに依存した評価プロンプトを強調します。 メタ評価のための人間ラベル付きベンチマークを2つ導入し、テミスが人間の嗜好を経済的に高度に調整できることを実証した。
  論文  参考訳（メタデータ） (2025-02-05T08:35:55Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Finding Blind Spots in Evaluator LLMs with Interpretable Checklists [23.381287828102995]
  テキスト生成タスクにおける評価器として,Large Language Models (LLMs) の有効性を検討する。 我々は,4つの重要な能力を評価する上で,評価用LLMの習熟度を評価するための新しいフレームワークであるFBIを提案する。
  論文  参考訳（メタデータ） (2024-06-19T10:59:48Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• InFoBench: Evaluating Instruction Following Ability in Large Language Models [57.27152890085759]
  Decomposed Requirements following Ratio (DRFR) は、命令に従うLarge Language Models (LLM) 能力を評価するための新しい指標である。 InFoBenchは500の多様な命令と2250の分解された質問を複数の制約カテゴリに分けたベンチマークである。
  論文  参考訳（メタデータ） (2024-01-07T23:01:56Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• A Large Language Model Approach to Educational Survey Feedback Analysis [0.0]
  本稿では,大規模言語モデル(LLM) GPT-4 と GPT-3.5 が教育フィードバック調査から洞察を得るのに役立つ可能性について検討する。
  論文  参考訳（メタデータ） (2023-09-29T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。