論文の概要: MonitrLLM: A Community-Centered Evaluation Infrastructure for Large Language Models
- arxiv url: http://arxiv.org/abs/2608.02409v1
- Date: Mon, 03 Aug 2026 15:50:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.684841
- Title: MonitrLLM: A Community-Centered Evaluation Infrastructure for Large Language Models
- Title（参考訳）: MonitrLLM: 大規模言語モデルのためのコミュニティ中心の評価基盤
- Abstract要約: MonitrLLMはコミュニティ中心のLLM評価のためのオープンソースインフラストラクチャである。
会話の全文を、ユーザが報告したタスク意図と結果アセスメントにリンクする。
当科では26名の大学生を対象に,ChatGPTを用いた2週間の実施試験を行った。
- 参考スコア（独自算出の注目度）: 2.308247854723298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmark suites assess model capability on controlled tasks; large-scale conversation corpora capture naturalistic use without user feedback; and in-interface feedback mechanisms record satisfaction without task purpose. Together, they leave a critical gap in LLM evaluation: no existing infrastructure routinely links interaction trajectories to user-defined outcomes. We introduce MonitrLLM, open-source infrastructure for community-centered LLM evaluations that links full conversation transcripts to user-reported task intent and outcome assessments, treating all three as primary evaluative signals rather than optional metadata. To demonstrate the value of this approach, we conducted a two-week feasibility pilot with 26 college students using ChatGPT, collecting 206 evaluation reports with full conversation transcripts. The findings from our pilot demonstrate the value of connecting conversation trajectories with user-reported outcomes. For instance, despite reporting high average satisfaction (4.19/5) with their LLM interactions, participants also experience a substantial 23.1% failure rate on their goal tasks. We also find that multi-turn conversations are reported as failing at 2.5 times the rate of single-turn exchanges, a pattern that reframes extended interaction as a signal of difficulty rather than engagement. We conclude by discussing the value of incorporating direct user feedback with observational data for robust LLM evaluations, and the possibilities for infrastructure that enables this goal.
- Abstract（参考訳）: ベンチマークスイートは、制御されたタスクにおけるモデル機能の評価、大規模会話コーパスは、ユーザフィードバックなしで自然な使用をキャプチャし、インタフェース内フィードバックメカニズムは、タスク目的なしで満足度を記録する。
既存のインフラでは、インタラクショントラジェクトリとユーザ定義の結果を定期的に関連付けるものはありません。
コミュニティ中心のLCM評価のためのオープンソースの基盤であるMonitrLLMを導入する。これは、全会話書き起こしをユーザ報告されたタスク意図と結果評価に結びつけるもので、これら3つすべてをオプションメタデータではなく、主要な評価信号として扱う。
提案手法の有効性を実証するため,26人の大学生を対象に,ChatGPTを用いた2週間の実施試験を行い,全会話書き起こしによる評価報告206件を収集した。
パイロット実験の結果は,会話の軌跡とユーザの報告した結果とを結びつけることの価値を実証した。
例えば、LLMの相互作用で平均的な満足度(4.19/5)を報告しているにもかかわらず、参加者は目標タスクで23.1%の失敗率を経験している。
また、マルチターン会話は単一ターン交換の2.5倍の速度で失敗すると報告されている。
本稿では,LCM評価のための観測データにユーザからの直接フィードバックを取り入れることの価値と,この目標を実現するインフラの可能性について論じる。
関連論文リスト
- SoMi-ToM: Evaluating Multi-Perspective Theory of Mind in Embodied Social Interactions [36.010107260144586]
SoMi-ToMベンチマークは,マルチエージェント複合社会相互作用におけるマルチパースペクティブToMを評価するために設計されている。
我々は,35人の第三者視点映像,633人の一人称視点画像,1225人の専門家による複数選択質問を含む挑戦的なデータセットを構築した。
その結果,SoMi-ToMではLVLMがヒトよりも有意に低下することが判明した。
論文 参考訳（メタデータ） (2025-06-29T00:54:13Z) - Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。
本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T20:29:02Z) - Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。
人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
論文 参考訳（メタデータ） (2024-12-12T13:31:58Z) - Large Language Models as Automated Aligners for benchmarking
Vision-Language Models [48.4367174400306]
VLM(Vision-Language Models)は新しいレベルの高度化に達し、複雑な認知と推論タスクの実行において顕著な能力を示している。
既存の評価ベンチマークは、厳密で手作りのデータセットを主に頼りにしており、人為的なモデルと人間の知性との整合性を評価する上で、重大な制限に直面している。
本研究では,LLMを有能なキュレーションとして探求し,自動データキュレーションとアセスメントによってVLMと人間の知性と価値のアライメントを測定するAuto-Benchを用いて,その限界に対処する。
論文 参考訳（メタデータ） (2023-11-24T16:12:05Z) - MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language
Feedback [78.60644407028022]
我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。
LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。
LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
論文 参考訳（メタデータ） (2023-09-19T15:25:42Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-06-23T17:59:09Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z) - ED-FAITH: Evaluating Dialogue Summarization on Faithfulness [35.73012379398233]
まず,対話要約のための忠実度尺度の体系的研究を行った。
我々は,ほとんどの指標が,ニュースデータセットでよく機能しているにもかかわらず,人間の判断と相関が低いことを観察した。
忠実度評価のための新しい尺度T0-Scoreを提案する。
論文 参考訳（メタデータ） (2022-11-15T19:33:50Z) - DialogSum Challenge: Results of the Dialogue Summarization Shared Task [15.791481299499537]
我々は,INLG 2022における実生活シナリオ対話の要約作業であるDialogSum Challengeの結果を報告する。
複数の側面から人による評価により, モデル生成出力と人間の注釈付き要約との間には, 健全なギャップがあることが判明した。
これらの結果は,対話要約の難しさを示し,よりきめ細かい評価指標が必要であることを示唆している。
論文 参考訳（メタデータ） (2022-08-08T03:39:42Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-02-20T03:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。