Fugu-MT 論文翻訳(概要): TOWER: Tree Organized Weighting for Evaluating Complex Instructions

論文の概要: TOWER: Tree Organized Weighting for Evaluating Complex Instructions

arxiv url: http://arxiv.org/abs/2410.06089v1
Date: Tue, 8 Oct 2024 14:46:50 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 11:10:50.662606
Title: TOWER: Tree Organized Weighting for Evaluating Complex Instructions
Title（参考訳）: TOWER: 複雑なインストラクションを評価するためのツリー編成重み付け
Authors: Noah Ziems, Zhihan Zhang, Meng Jiang,
Abstract要約: 大規模な言語モデル(LLM)を評価して、複雑なヒューマン記述命令に従うことは、現実世界のアプリケーションへの展開に不可欠である。そこで本稿では,人事的重要度を付加した新しい評価基準であるtextscTOWER を提案する。ヒトのアノテータは他のヒトのアノテータとほぼ同程度に複雑な命令のツリーベース表現に一致していることを示す。
参考スコア（独自算出の注目度）: 22.09369120921814
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Evaluating the ability of large language models (LLMs) to follow complex human-written instructions is essential for their deployment in real-world applications. While benchmarks like Chatbot Arena use human judges to assess model performance, they are resource-intensive and time-consuming. Alternative methods using LLMs as judges, such as AlpacaEval, MT Bench, WildBench, and InFoBench offer improvements but still do not capture that certain complex instruction aspects are more important than others to follow. To address this gap, we propose a novel evaluation metric, \textsc{TOWER}, that incorporates human-judged importance into the assessment of complex instruction following. We show that human annotators agree with tree-based representations of these complex instructions nearly as much as they agree with other human annotators. We release tree-based annotations of the InFoBench dataset and the corresponding evaluation code to facilitate future research.
Abstract（参考訳）: 大規模言語モデル(LLM)の複雑なヒューマン記述命令に従う能力を評価することは、現実のアプリケーションへの展開に不可欠である。 Chatbot Arenaのようなベンチマークでは、人間の判断を使ってモデルのパフォーマンスを評価するが、それらはリソース集約的で時間を要する。 AlpacaEval、MT Bench、WildBench、InFoBenchなどの審査にLLMを使用する別の手法は改善を提供するが、しかしながら、ある複雑な命令の側面が他のものよりも重要であることを捉えていない。このギャップに対処するために, 人力の重大さを付加した新しい評価指標である「textsc{TOWER}」を提案する。ヒトのアノテータは他のヒトのアノテータとほぼ同程度に複雑な命令のツリーベース表現に一致していることを示す。 InFoBenchデータセットのツリーベースのアノテーションとそれに対応する評価コードをリリースし、今後の研究を促進する。

関連論文リスト

Beyond Content Relevance: Evaluating Instruction Following in Retrieval Models [17.202017214385826]
本研究では,コンテンツ関連性を超えた各種検索モデルの指示追従能力について検討した。 6つの文書レベル属性にまたがる新しい検索評価ベンチマークを開発した。以上の結果から,再ランク付けモデルが後続命令の検索モデルを上回っているのに対して,特定の属性を扱う上では依然として課題に直面していることが明らかとなった。
論文参考訳（メタデータ） (2024-10-31T11:47:21Z)
Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation [2.4889060833127665]
本稿では,大規模言語モデル(LLM)の物語生成の文脈における指示追従能力の評価に焦点をあてる。本稿では,機械読影理解モデル(MRC)を用いた自動評価パイプラインを提案する。
論文参考訳（メタデータ） (2024-06-24T06:53:36Z)
HumanRankEval: Automatic Evaluation of LMs as Conversational Assistants [16.932009464531742]
本稿では,HumanRankEvalという新しい自動評価タスクを提案する。大規模で多様で高品質な質問セットで構成されており、それぞれが人間によって書かれたいくつかの回答がある。 HREは人間の判断とよく相関し,特に指導指導後のモデル変化に応答することを示す。
論文参考訳（メタデータ） (2024-05-15T08:47:26Z)
STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文参考訳（メタデータ） (2024-04-19T22:54:54Z)
SemScore: Automated Evaluation of Instruction-Tuned LLMs based on Semantic Textual Similarity [3.3162484539136416]
本稿では,SemScoreと呼ばれる簡易な評価尺度を提案する。意味的テキスト類似度(STS)を用いたモデル出力とゴールドターゲット応答の比較提案したSemScore測定基準は,人間の評価と相関する点において,より複雑な評価指標よりも優れていることが判明した。
論文参考訳（メタデータ） (2024-01-30T14:52:50Z)
Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
論文参考訳（メタデータ） (2023-10-11T16:38:11Z)
FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文参考訳（メタデータ） (2023-07-20T14:56:35Z)
DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
論文参考訳（メタデータ） (2023-07-13T16:16:51Z)
Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文参考訳（メタデータ） (2023-05-22T15:12:43Z)
Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-27T10:40:59Z)
BEAMetrics: A Benchmark for Language Generation Evaluation Evaluation [16.81712151903078]
自然言語処理(NLP)システムは、オープンなテキストを生成するためにますます訓練されている。異なる指標は、異なる強さとバイアスを持ち、あるタスクに対する人間の直感を他のタスクよりも良く反映する。ここでは、新しいメトリクス自体の評価を容易にするために、BEAMetrics (Benchmark to Evaluate Automatic Metrics) について説明する。
論文参考訳（メタデータ） (2021-10-18T10:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。