論文の概要: HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing

• arxiv url: http://arxiv.org/abs/2604.19071v1
• Date: Tue, 21 Apr 2026 04:26:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.618192
• Title: HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing
• Title（参考訳）: HoWToBench: 筆記木を用いた人間レベルの筆記におけるLLMの能力の全体的評価
• Authors: Andrew Zhuoer Feng, Cunxiang Wang, Yu Luo, Lin Fan, Yilin Zhou, Zikang Wang, Xiaotao Gu, Jie Tang, Hongning Wang, Minlie Huang,
• Abstract要約: テキスト評価において,LLM-as-a-judgeがすべてのサブフィーチャを集約する場合にしばしば発生する暗黙の矛盾を解決するために,Tree-of-Writing(ToW)を提案する。 また、3つのタスクカテゴリにまたがる12のジャンルと1302の命令を含む大規模な中国語書記ベンチマークであるHowToBenchについても紹介する。
• 参考スコア（独自算出の注目度）: 84.84959282480641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the writing capabilities of large language models (LLMs) remains a significant challenge due to the multidimensional nature of writing skills and the limitations of existing metrics. LLM's performance in thousand-words level and open-ended writing is inadequately assessed by traditional reference-based metrics or modern LLM-as-a-judge methods. We propose Tree-of-Writing (ToW), to resolve the implicit inconsistency often found when LLM-as-a-judge aggregates all sub-features in text evaluation. ToW incorporates a tree-structured workflow by explicitly modeling the aggregation weights of sub-features. We also present HowToBench, a large-scale Chinese writing benchmark encompassing 12 genres and 1302 instructions across three task categories: contextual completion, outline-guided writing, and open-ended generation. ToW successfully mitigates the biases, achieving a 0.93 Pearson correlation with human judgments. Furthermore, we detect that both overlap-based text generation metrics and popular LLM-as-a-judge practices are vulnerable to textual disturbances, while ToW is robust to them. We also uncover a negative correlation between input length and content-related scores in the Guide task, showcasing that it cannot be simply improved by input-side information piling.
• Abstract（参考訳）: 大規模言語モデル(LLM)の書字能力を評価することは、書字スキルの多次元的性質と既存のメトリクスの限界により、依然として大きな課題である。 LLMの1000ワードレベルのパフォーマンスとオープンエンド書き込みは、従来の基準ベースのメトリクスや現代のLCM-as-a-judgeメソッドによって不十分に評価されている。 テキスト評価において,LLM-as-a-judgeがすべてのサブフィーチャを集約する場合にしばしば発生する暗黙の矛盾を解決するために,Tree-of-Writing(ToW)を提案する。 ToWはサブフィーチャーの集約重みを明示的にモデル化することで、ツリー構造化ワークフローを組み込む。 また、コンテキスト補完、アウトライン誘導、オープンエンド生成という3つのタスクカテゴリにまたがる12のジャンルと1302の命令を含む大規模な中国語書記ベンチマークであるHowToBenchについても紹介する。 ToWはバイアスを緩和し、人間の判断とパーソンの0.93の相関を達成した。 さらに、重なり合うテキスト生成メトリクスと一般的なLCM-as-a-judgeプラクティスの両方が、テキスト障害に対して脆弱であるのに対して、ToWはそれらに対して堅牢である。 また、ガイドタスクにおける入力長と内容関連スコアの負の相関も明らかにし、入力側情報コンパイルによって簡単には改善できないことを示す。

関連論文リスト

• FineSurE: Fine-grained Summarization Evaluation using LLMs [22.62504593575933]
  FineSurEは,大規模言語モデル(LLM)を用いた要約タスクに適した,きめ細かい評価器である。 また、忠実さに加えて完全性と簡潔さの基準を採用し、多次元評価を可能にしている。
  論文  参考訳（メタデータ） (2024-07-01T02:20:28Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• BooookScore: A systematic exploration of book-length summarization in the era of LLMs [53.42917858142565]
  我々は,識別されたエラータイプを一切含まない要約文の割合を計測する自動測度BooookScoreを開発した。 GPT-4 や 2 のようなクローズドソース LLM は,オープンソースモデルよりも BooookScore の高いサマリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T20:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。