論文の概要: SkillVerse : Assessing and Enhancing LLMs with Tree Evaluation

• arxiv url: http://arxiv.org/abs/2506.00319v1
• Date: Sat, 31 May 2025 00:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.629795
• Title: SkillVerse : Assessing and Enhancing LLMs with Tree Evaluation
• Title（参考訳）: SkillVerse : 樹木評価によるLCMの評価と強化
• Authors: Yufei Tian, Jiao Sun, Nanyun Peng, Zizhao Zhang,
• Abstract要約: SkillVerseは、特定の能力におけるモデル習熟度を理解するための教師なしツリー構造化診断フレームワークである。 任意のレベルの粒度の習熟度を考慮すれば、SkillVerseはモダンな大規模モデルの振る舞いの洞察を生み出す柔軟性がある。
• 参考スコア（独自算出の注目度）: 70.27631454256024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language models evolve to tackle complex, multifaceted tasks, their evaluation must adapt to capture this intricacy. A granular, skill-specific understanding of model capabilities can empower researchers to make informed model development plans. In this paper, we introduce SkillVerse, an unsupervised tree-structured diagnosis framework for understanding model proficiency in specific abilities. With LLM as a judge, SkillVerse first critiques the model responses, and then organizes them into a hierarchical structure termed dendrogram. Given proficiency at arbitrary levels of granularity, SkillVerse is flexible to produce insights of behaviors of modern large models. We also demonstrate its efficacy in two downstream tasks: 1) improving model in-context learning by 25% using a tree-search algorithm to select more informative few-shot demonstrations, and 2) accurately predicting new model weaknesses with a 55% success rate, 22% higher than without SkillVerse.
• Abstract（参考訳）: 言語モデルが複雑で多面的なタスクに取り組むように進化するにつれて、その評価はこの複雑さを捉えるために適応しなければならない。 モデル能力のきめ細かい、スキル固有の理解は、研究者にインフォームドモデル開発計画を作成する力を与えます。 本稿では,教師なし木構造診断フレームワークであるSkillVerseについて紹介する。 LLMを審査員として、SkillVerseはまずモデル応答を批判し、その後、デンドログラムと呼ばれる階層構造に整理する。 任意のレベルの粒度の習熟度を考慮すれば、SkillVerseはモダンな大規模モデルの振る舞いの洞察を生み出す柔軟性がある。 また、その効果を下流の2つのタスクで示す。 1)木探索アルゴリズムを用いて、より情報に富んだ数発のデモンストレーションを選択することにより、25%のインコンテキスト学習を改善する。 2) SkillVerseを使わずに,55%の成功率で新たなモデルの弱点を正確に予測する。

関連論文リスト

• EvaLearn: Quantifying the Learning Capability and Efficiency of LLMs via Sequential Problem Solving [54.44269624385919]
  EvaLearnは、大きな言語モデル(LLM)を学習能力と課題の効率性を評価するために設計されたベンチマークである。 9つのフロンティアモデルをベンチマークし、様々な性能プロファイルを観察する。 静的能力の強い現在のLLMは、全てのタスクにおいて学習能力に明らかな優位性を示すものではない。
  論文  参考訳（メタデータ） (2025-06-03T09:18:33Z)
• Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
  本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。 我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。 評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
  論文  参考訳（メタデータ） (2024-12-12T21:29:00Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Rubric-based Learner Modelling via Noisy Gates Bayesian Networks for Computational Thinking Skills Assessment [40.06500618820166]
  我々は,タスク固有能力ルーブリックから自動スキルアセスメントのための学習者モデルを開発する。 我々は2つのゲート層を持つネットワークを設計し、1つはノイズORゲートによる解離操作を行い、もう1つは論理ANDによる解離操作を行う。 CT-cubeスキルアセスメントフレームワークとCAT(Cross Array Task)は、それを実証し、その実現可能性を示すために使用される。
  論文  参考訳（メタデータ） (2024-08-02T12:21:05Z)
• Can I understand what I create? Self-Knowledge Evaluation of Large Language Models [31.85129258347539]
  大規模言語モデル(LLM)は言語タスクにおいて顕著な進歩を遂げた。 フェインマンの創造を通して理解する原理に触発され、自己知識評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-10T09:53:54Z)
• A Mathematical Theory for Learning Semantic Languages by Abstract Learners [9.139188656944429]
  本研究では,学習過程を考慮に入れて,学習スキルの出現を説明する数学的理論を開発する。 トレーニングテキスト数とスキル数との比率が一定の閾値を超えた場合、学習スキルの出現を実証する。 本研究では, サイトパーコレーション解析を用いて, スキルアソシエーショングラフにおける巨大成分の存在条件を導出する。
  論文  参考訳（メタデータ） (2024-04-10T13:50:46Z)
• Large Language Models Are Also Good Prototypical Commonsense Reasoners [11.108562540123387]
  従来の微調整アプローチはリソース集約的であり、モデルの一般化能力を損なう可能性がある。 我々は、調整されたタスクのための大規模モデルの出力からインスピレーションを受け、半自動で新しいプロンプトのセットを開発した。 より優れた設計のプロンプトによって、ProtoQAのリーダーボードで新しい最先端(SOTA)を達成することができます。
  論文  参考訳（メタデータ） (2023-09-22T20:07:24Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Feeding What You Need by Understanding What You Learned [54.400455868448695]
  Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。 MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。 モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-05T14:15:59Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。