論文の概要: Monocle: Hybrid Local-Global In-Context Evaluation for Long-Text Generation with Uncertainty-Based Active Learning

• arxiv url: http://arxiv.org/abs/2505.20195v1
• Date: Mon, 26 May 2025 16:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:26.946532
• Title: Monocle: Hybrid Local-Global In-Context Evaluation for Long-Text Generation with Uncertainty-Based Active Learning
• Title（参考訳）: モノクル:不確実性に基づくアクティブラーニングによる長文生成のためのハイブリッドローカル・グローバル・インコンテキスト評価
• Authors: Xiaorong Wang, Ting Yang, Zhu Zhang, Shuo Wang, Zihan Zhou, Liner Yang, Zhiyuan Liu, Maosong Sun,
• Abstract要約: 分数的・対数的アプローチは、総合的な評価タスクを局所的なスコアリングタスクに分割し、続いて最終的なグローバルアセスメントを行う。 局所的およびグローバルな評価の両面での性能を高めるために,人間のアノテーションを活用するハイブリッド・イン・コンテキスト・ラーニング・アプローチを導入する。 最後に,人間のアノテーションに対するデータサンプルを効率的に選択する不確実性に基づく能動学習アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 63.531262595858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Assessing the quality of long-form, model-generated text is challenging, even with advanced LLM-as-a-Judge methods, due to performance degradation as input length increases. To address this issue, we propose a divide-and-conquer approach, which breaks down the comprehensive evaluation task into a series of localized scoring tasks, followed by a final global assessment. This strategy allows for more granular and manageable evaluations, ensuring that each segment of the text is assessed in isolation for both coherence and quality, while also accounting for the overall structure and consistency of the entire piece. Moreover, we introduce a hybrid in-context learning approach that leverages human annotations to enhance the performance of both local and global evaluations. By incorporating human-generated feedback directly into the evaluation process, this method allows the model to better align with human judgment. Finally, we develop an uncertainty-based active learning algorithm that efficiently selects data samples for human annotation, thereby reducing annotation costs in practical scenarios. Experimental results show that the proposed evaluation framework outperforms several representative baselines, highlighting the effectiveness of our approach.
• Abstract（参考訳）: LLM-as-a-Judge法では, 入力長の増加に伴う性能劣化のため, 長文・モデル生成テキストの品質評価は困難である。 この問題に対処するため,包括的評価タスクを局所的なスコアリングタスクに分割し,続いて最終的グローバルアセスメントを行う分割・アンド・コンカレント手法を提案する。 この戦略により、よりきめ細やかで管理可能な評価が可能になり、テキストの各セグメントがコヒーレンスと品質の両方で独立して評価されると同時に、全体の構造と一貫性も考慮される。 さらに,人間のアノテーションを活用し,局所的評価とグローバル的評価の両面での性能向上を図るハイブリッド・イン・コンテキスト・ラーニング・アプローチを導入する。 人為的フィードバックを直接評価プロセスに組み込むことで, モデルと人間の判断との整合性が向上する。 最後に、人間のアノテーションに対するデータサンプルを効率的に選択し、実用的なシナリオにおけるアノテーションコストを削減する不確実性に基づくアクティブラーニングアルゴリズムを開発した。 実験の結果,提案手法はいくつかの代表的ベースラインよりも優れており,提案手法の有効性が示された。

関連論文リスト

• PanguIR Technical Report for NTCIR-18 AEOLLM Task [12.061652026366591]
  大規模言語モデル(LLM)はますます重要で、評価が難しい。 手作業の評価は包括的ではあるが、コストが高くリソース集約的であることが多い。 自動評価はスケーラビリティを提供するが、評価基準の制限によって制約される。
  論文  参考訳（メタデータ） (2025-03-04T07:40:02Z)
• SedarEval: Automated Evaluation using Self-Adaptive Rubrics [4.97150240417381]
  本稿では,自己適応型ルーブリックに基づく新しい評価パラダイムを提案する。 SedarEvalは、細心の注意を払って1,000の質問から成り、それぞれが独自の自己適応型ルーリックを持っている。 我々は、人間の学級に取って代わるために、特殊評価器言語モデル(評価器LM)を訓練する。
  論文  参考訳（メタデータ） (2025-01-26T16:45:09Z)
• A Comparative Study of Quality Evaluation Methods for Text Summarization [0.5512295869673147]
  本稿では,大規模言語モデル(LLM)に基づくテキスト要約評価手法を提案する。 以上の結果から,LLMの評価は人間の評価と密接に一致しているが,ROUGE-2,BERTScore,SummaCなどの広く使用されている自動測定値には一貫性がない。
  論文  参考訳（メタデータ） (2024-06-30T16:12:37Z)
• MATEval: A Multi-Agent Discussion Framework for Advancing Open-Ended Text Evaluation [22.19073789961769]
  生成型大規模言語モデル(LLM)は注目に値するが、これらのモデルによって生成されたテキストの品質は、しばしば永続的な問題を示す。 MATEval: "Multi-Agent Text Evaluation framework"を提案する。 本フレームワークは,評価プロセスの深度と広さを高めるために,自己回帰と整合性戦略とフィードバック機構を取り入れている。
  論文  参考訳（メタデータ） (2024-03-28T10:41:47Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Human-in-the-loop Abstractive Dialogue Summarization [61.4108097664697]
  我々は、異なるレベルの人間のフィードバックをトレーニングプロセスに組み込むことを提案する。 これにより、モデルをガイドして、人間が要約に用いている振る舞いを捉えることができます。
  論文  参考訳（メタデータ） (2022-12-19T19:11:27Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。