論文の概要: A Better LLM Evaluator for Text Generation: The Impact of Prompt Output Sequencing and Optimization

• arxiv url: http://arxiv.org/abs/2406.09972v1
• Date: Fri, 14 Jun 2024 12:31:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 13:45:24.000083
• Title: A Better LLM Evaluator for Text Generation: The Impact of Prompt Output Sequencing and Optimization
• Title（参考訳）: テキスト生成のためのLCM評価器の改良:プロンプト出力シークエンシングと最適化の影響
• Authors: KuanChao Chu, Yi-Pei Chen, Hideki Nakayama,
• Abstract要約: 本研究では,大規模言語モデル(LLM)を用いたテキスト評価の迅速設計について検討する。 結果,理由と得点の順序がLLMの得点に大きく影響していることが判明した。 追加の最適化は、十分なデータが利用可能であればアライメントアライメントを強化する可能性がある。
• 参考スコア（独自算出の注目度）: 17.38671584773247
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This research investigates prompt designs of evaluating generated texts using large language models (LLMs). While LLMs are increasingly used for scoring various inputs, creating effective prompts for open-ended text evaluation remains challenging due to model sensitivity and subjectivity in evaluation of text generation. Our study experimented with different prompt structures, altering the sequence of output instructions and including explanatory reasons. We found that the order of presenting reasons and scores significantly influences LLMs' scoring, with a different level of rule understanding in the prompt. An additional optimization may enhance scoring alignment if sufficient data is available. This insight is crucial for improving the accuracy and consistency of LLM-based evaluations.
• Abstract（参考訳）: 本研究では,大規模言語モデル (LLM) を用いたテキスト評価の迅速な設計について検討する。 LLMは様々な入力のスコアリングに利用されているが、テキスト生成評価におけるモデル感度と主観性のため、オープンエンドテキスト評価の効果的なプロンプトを作成することは依然として困難である。 本研究は、異なるプロンプト構造を用いて、出力命令の順序を変更し、説明的理由を含む実験を行った。 その結果,理由と得点の順序はLLMのスコアに大きく影響し,ルール理解のレベルが異なることが判明した。 追加の最適化は、十分なデータが利用可能であればアライメントアライメントを強化する可能性がある。 この知見は,LLMに基づく評価の精度と一貫性の向上に不可欠である。

関連論文リスト

• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Optimizing and Testing Instruction-Following: Analyzing the Impact of Fine-Grained Instruction Variants on instruction-tuned LLMs [27.321629102942754]
  我々は、複雑な命令を単純なサブコンポーネントに分解し、それらを修正し、それらを新しい変種に再構成する効果的なデータ拡張手法を導入する。 以上の結果から,DeMoReconで微調整したLCMは,命令追従ベンチマークと一般的な命令追従ベンチマークの両方において,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T08:08:11Z)
• LLM as a Scorer: The Impact of Output Order on Dialogue Evaluation [17.38671584773247]
  本研究では,大規模言語モデル(LLM)を用いた対話評価における即時設計の効果について検討する。 理由と得点の順序はLLMのスコアに大きく影響し,「理性優先」アプローチによりより包括的評価が得られた。
  論文  参考訳（メタデータ） (2024-06-05T02:25:10Z)
• SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation [35.10931307279044]
  本稿では,モデル生成の高速化を目的とした自己評価復号法であるSEDを提案する。 推測と評価のステップをデコードプロセスに統合し、LCMがより慎重に決定できるようにします。
  論文  参考訳（メタデータ） (2024-05-26T12:43:18Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• RepEval: Effective Text Evaluation with LLM Representation [54.07909112633993]
  評価のためにLLM表現の投影を利用した最初の計量であるRepEvalを紹介する。 RepEvalはトレーニングに最小限のサンプルペアを必要とし、簡単なプロンプト修正によって、さまざまなタスクに簡単に移行できる。 3つのタスクから得られた10個のデータセットの結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [62.32403630651586]
  大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。 本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。 ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-01T21:59:03Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• ALLURE: Auditing and Improving LLM-based Evaluation of Text using Iterative In-Context-Learning [7.457517083017178]
  大規模言語モデル(LLM)は、人間やAIが生成するテキストの評価に使用される。 実用性にもかかわらず、LSMは異なる障害モードを示し、徹底的な監査とテキスト評価機能の改善が必要である。 ここでは、大規模な言語モデルを理解するための体系的なアプローチであるALLUREを紹介します。
  論文  参考訳（メタデータ） (2023-09-24T17:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。