論文の概要: CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data

• arxiv url: http://arxiv.org/abs/2607.16122v1
• Date: Fri, 17 Jul 2026 17:00:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.912335
• Title: CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data
• Title（参考訳）: CRAFT:Wak LLM能力の診断と微調整データ生成のためのクラスタリング回路
• Abstract要約: CRAFTは、あらゆるルーブリックに基づく評価データセットを、弱い能力のモデル固有の診断に変換する方法である。 各プロンプトルーリックペアから機能記述を抽出し、各ノードでターゲットモデルをスコアし、ツリーレベルの低パフォーマンスノードを動的に選択する。 温度復号を繰り返して4モデルすべてに対して最強のファイナンスドメイン平均を達成する。
• 参考スコア（独自算出の注目度）: 19.182280292507844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluations should do more than measure a models current performance. They should tell us what to fix for the next model iteration and provide a way to generate targeted post training data. Most evaluation pipelines identify weak examples, topics, or categories, but they leave the underlying capability failure implicit: they say where a model fails, not why. We introduce CRAFT, a method that converts any rubric based evaluation dataset into a model specific diagnosis of weak capabilities. CRAFT treats each grading criterion as a capability probe: it extracts a capability description from every prompt rubric pair, clusters these descriptions into a hierarchical capability tree, scores the target model at every node, and selects low performing nodes dynamically across tree levels, at the granularity where each failure is clearest. The selected weak capabilities then direct the generation of targeted supervised finetuning data. Holding the data generation, finetuning, and evaluation setup fixed, we compare CRAFT against prompt level EvalTree clustering and untargeted random generation on four open source models, two professional domains (finance and legal), and 13 held out benchmarks disjoint from the diagnostic data. CRAFT achieves the strongest finance domain average for all four models under repeated temperature decoding; on legal domain, it is strongest for three of four models and remains within the decoding variance bands of the best baseline on the fourth. Diagnosing weaknesses at the level of rubric criteria, rather than prompts or categories, thus yields both a sharper picture of what a model cannot do and measurably better models after finetuning on that diagnosis.
• Abstract（参考訳）: 評価は、現在のパフォーマンスのモデルを測定する以上のことをすべきです。 次のモデルのイテレーションで何を修正するかを教え、ターゲットとするポストトレーニングデータを生成する方法を提供する必要があります。 ほとんどの評価パイプラインは、弱い例、トピック、カテゴリを識別するが、基盤となる能力障害を暗黙に残す。 CRAFTは,任意のルーブリックに基づく評価データセットを,弱い能力のモデル固有診断に変換する手法である。 CRAFTは、各グレーディング基準を機能プローブとして扱い、各プロンプトルーリックペアから機能記述を抽出し、これらの記述を階層的な機能ツリーにクラスタ化し、各ノードでターゲットモデルをスコアし、各障害が最も明瞭な粒度で、木レベルで動的に低い実行ノードを選択する。 選択された弱い能力は、対象とする教師付き微調整データの生成を指示する。 データ生成、微調整、評価設定を固定し、CRAFTを4つのオープンソースモデル、2つの専門ドメイン(ファイナンスと合法)、13のベンチマークが診断データとは相容れない、即時レベルのEvalTreeクラスタリングと未ターゲットのランダム生成と比較する。 CRAFTは、繰り返しの温度デコードの下で4つのモデルすべてに対して最強のファイナンス・ドメイン平均を達成し、法的な領域では4つのモデルのうち3つで最強であり、第4のベースラインのデコード分散帯域内に留まっている。 したがって、モデルができないことのよりシャープな画像と、その診断を微調整した後に測定可能なモデルの両方が得られる。

関連論文リスト

• Confident Learning for Object Detection under Model Constraints [0.05131152350448099]
  エッジデバイス上での農業雑草検出は、モデルキャパシティ、計算リソース、リアルタイム推論レイテンシに厳しい制約が課される。 本稿では,データ品質の欠陥を反復診断し,修正することにより検出性能を向上させるデータ中心型フレームワークであるMDDCを提案する。
  論文  参考訳（メタデータ） (2026-01-14T15:32:08Z)
• CDT: A Comprehensive Capability Framework for Large Language Models Across Cognition, Domain, and Task [49.27354010985993]
  LLM(Large Language Models)の最近の進歩は、その能力を大幅に強化している。 既存のベンチマークでは、LLM能力を評価するための総合的なフレームワークが欠如しているため、孤立した能力に重点を置いていることが多い。 本稿では,3次元にまたがるモデルの性能を包括的に測定するコグニション・ドメイン・タスク(CDT)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-29T08:10:29Z)
• AdaDeDup: Adaptive Hybrid Data Pruning for Efficient Large-Scale Object Detection Training [33.01500681857408]
  我々は、密度に基づくプルーニングとモデルインフォームドフィードバックをクラスタ適応的に統合する新しいフレームワークであるAdaptive De-Duplication (AdaDeDup)を紹介した。 これは、顕著なベースラインを著しく上回り、性能劣化を著しく低減し、20%のデータを刈り取りながら、ほぼオリジナルに近いモデル性能を達成する。
  論文  参考訳（メタデータ） (2025-06-24T22:35:51Z)
• Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
  本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。 我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。 評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
  論文  参考訳（メタデータ） (2024-12-12T21:29:00Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• A Multi-Armed Bandit Approach to Online Selection and Evaluation of Generative Models [23.91197677628145]
  本研究では,標準評価スコアを最大化する生成モデルを見つけるためのオンライン評価選択フレームワークを提案する。 具体的には、Fr'echet Distance(FD)とInception Score(IS)のメトリクスを考慮した、MABに基づく生成モデルの選定を開発する。 実験の結果, 深部生成モデルの標本効率評価と選択に対するMABアプローチの有効性が示唆された。
  論文  参考訳（メタデータ） (2024-06-11T16:57:48Z)
• An Evaluation of Machine Learning Approaches for Early Diagnosis of Autism Spectrum Disorder [0.0]
  自閉症スペクトラム障害(Autistic Spectrum disorder、ASD)は、社会的相互作用、コミュニケーション、反復活動の困難を特徴とする神経疾患である。 本研究は,診断プロセスの強化と自動化を目的として,多様な機械学習手法を用いて重要なASD特性を同定する。
  論文  参考訳（メタデータ） (2023-09-20T21:23:37Z)
• Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
  本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。 文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。 事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
  論文  参考訳（メタデータ） (2023-05-26T00:18:33Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
  本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。 弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。 これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
  論文  参考訳（メタデータ） (2022-03-22T20:24:21Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。