論文の概要: Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance

• arxiv url: http://arxiv.org/abs/2502.11578v1
• Date: Mon, 17 Feb 2025 09:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:00.082132
• Title: Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance
• Title（参考訳）: LLM性能評価のためのノイズゼロショットプロキシとしての言語複雑度測定
• Authors: Birger Moell, Johan Boye,
• Abstract要約: 本稿では,言語複雑性測定タスクにおける大規模言語モデル(LLM)の性能について検討する。 スウェーデンの高校と大学レベルのエッセイを用いて,LIXスコアを計算し,依存関係解析を行うモデルの能力を評価する。
• 参考スコア（独自算出の注目度）: 1.6114012813668932
• License:
• Abstract: Large Language Models (LLMs) have made significant strides in natural language generation but often face challenges in tasks requiring precise calculations and structural analysis. This paper investigates the performance of state-of-the-art LLMs on language complexity measurement tasks, through the computation of the LIX readability metric and Average Dependency Distance (ADD). Using Swedish high school and university-level essays, we evaluate the models' abilities to compute LIX scores and perform dependency parsing, comparing their results to established ground truths. Our findings reveal that while all models demonstrate some capacity for these tasks, ChatGPT-o1-mini performs most consistently, achieving the highest accuracy in both LIX computation and dependency parsing. Additionally, we observe a strong significant correlation -0.875 p 0.026 (N=6) between the models' accuracy in computing LIX and their overall performance on the Massive Multitask Language Understanding (MMLU) benchmark. These results suggest that language complexity measurement abilities can serve as a noisy zero-shot proxies for assessing the general capabilities of LLMs, providing a practical method for model evaluation without the need for extensive benchmarking datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語生成において大きな進歩を遂げてきたが、正確な計算と構造解析を必要とするタスクにおいて、しばしば課題に直面している。 本稿では,LIX可読度と平均依存性距離(ADD)の計算により,言語複雑性測定タスクにおける最先端LLMの性能について検討する。 スウェーデンの高校と大学レベルのエッセイを用いて,LIXスコアを計算し,依存関係解析を行うモデルの能力を評価する。 以上の結果から,ChatGPT-o1-mini の処理能力は各モデルでほぼ一定であり,LIX 計算と依存性解析の両面で高い精度を実現していることがわかった。 さらに、LIXにおけるモデルの精度と、MMLU(Massive Multitask Language Understanding)ベンチマークにおける全体的な性能との間には、0.875 p 0.026 (N=6) という強い有意な相関関係が観察された。 これらの結果から,LLMの汎用能力を評価するため,言語複雑性測定能力はノイズの多いゼロショットプロキシとして機能し,広範なベンチマークデータセットを必要とせずに,モデル評価の実践的手法を提供する可能性が示唆された。

関連論文リスト

• Examining the Robustness of Large Language Models across Language Complexity [19.184633713069353]
  大規模言語モデル(LLM)は、学生が学習を理解し評価するために生成したテキスト成果物を分析する。 本研究では,数学の問題解決において,学生の自己制御学習(SRL)を検出するLLMベースの学生モデルのロバスト性について検討した。
  論文  参考訳（メタデータ） (2025-01-30T20:33:59Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• ProxyLM: Predicting Language Model Performance on Multilingual Tasks via Proxy Models [9.710960283117771]
  ProxyLMは、プロキシモデルを用いてLMのパフォーマンスを予測するために設計されたタスクおよび言語に依存しないフレームワークである。 ProxyLMはタスク評価の計算オーバーヘッドを大幅に減らし、従来の手法よりも37.08倍の高速化を実現した。 この結果から, ProxyLM は事前学習した LM の未確認言語に適応するだけでなく,異なるデータセットに対して効果的に一般化できることが示された。
  論文  参考訳（メタデータ） (2024-06-13T17:15:33Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Benchmarking Causal Study to Interpret Large Language Models for Source Code [6.301373791541809]
  本稿では,3つのSEタスクをキュレートしたテストベッドからなるGalerasというベンチマーク戦略を紹介する。 本稿では,ChatGPTの性能に関するケーススタディを,個別の迅速なエンジニアリング手法で実施することで,ベンチマーク戦略の知見を述べる。
  論文  参考訳（メタデータ） (2023-08-23T20:32:12Z)
• RoCar: A Relationship Network-based Evaluation Method for Large Language Models [20.954826722195847]
  大規模言語モデル(LLM)の機能をどのように合理的に評価するかは、まだ解決すべき課題である。 本稿では,定義された基本スキーマを用いてタスクグラフをランダムに構築するRoCar法を提案する。 テスト対象のLSMが直接評価タスクを学習していないことを保証し,評価手法の公平性を保証することが可能である。
  論文  参考訳（メタデータ） (2023-07-29T14:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。