論文の概要: CoT-Core: Accelerating LLM Evaluation via CoT-Aware Coreset Selection

• arxiv url: http://arxiv.org/abs/2608.00014v1
• Date: Wed, 24 Jun 2026 16:14:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 00:30:28.286856
• Title: CoT-Core: Accelerating LLM Evaluation via CoT-Aware Coreset Selection
• Title（参考訳）: CoT-Core: CoT-Aware Coreset選択によるLCM評価の高速化
• Abstract要約: 本稿では,CoT-Coreを提案する。 CoT-Coreは,高忠実度スコア評価を維持しつつ,評価コストを大幅に削減することを示す。
• 参考スコア（独自算出の注目度）: 32.75634435335832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating Large Language Models (LLMs) incurs prohibitive computational overhead during continuous development processes. While coreset selection accelerates evaluation, existing methods either suffer from a severe ``cold start'' bottleneck requiring massive historical logs (e.g., Item Response Theory) or exhibit a surface lexical bias that misses the underlying reasoning manifold of tasks. We propose CoT-Core, a novel training-free core question selection framework. Recognizing that lexically disparate questions can share equivalent underlying logic, CoT-Core prompts LLMs to unroll zero-shot Chain-of-Thought (CoT) reasoning trajectories. Projecting these paths into a latent space effectively clusters questions by intrinsic logical equivalence rather than superficial text similarity. Extensive experiments on GSM8K, MMLU, MMLU-Pro, and GPQA demonstrate that CoT-Core drastically reduces evaluation costs while maintaining high-fidelity score estimation, and delineate the boundary conditions of reasoning-aware pruning, revealing that its efficacy is intrinsically gated by task complexity.
• Abstract（参考訳）: LLM(Large Language Models)の評価は、継続的開発プロセスにおいて、計算オーバーヘッドを禁止します。 コアセットの選択が評価を加速する一方で、既存のメソッドは、巨大な履歴ログ(例えば、アイテム応答理論)を必要とする厳しい‘コールドスタート’のボトルネックに悩まされるか、あるいは、タスクの基本的な推論多様体を見逃す表面的な語彙バイアスを示すかのどちらかである。 本稿では,CoT-Coreを提案する。 語彙的に異なる質問が等価な論理を共有できることを認識し、CoT-CoreはLLMにゼロショット・チェーン・オブ・ソート(CoT)推論軌道をアンロールするよう促す。 これらの経路を潜在空間に投影することは、表面的なテキストの類似性よりも本質的な論理的同値性によって質問を効果的にクラスタリングする。 GSM8K, MMLU, MMLU-Pro, GPQAの広範囲な実験により, CoT-Coreは高忠実度スコア推定を維持しながら評価コストを大幅に削減し, 推論認識プルーニングの境界条件を明確化し, その有効性はタスクの複雑さによって本質的に制限されていることが明らかになった。

関連論文リスト

• SuCo: Sufficiency-guided Continuous Adaptive Reasoning [59.17222918775686]
  大型共振モデル(LRM)は、しばしば超長鎖(CoT)を生成する。 この非効率を緩和するための既存の取り組みは、通常、個別の推論モードや固定予算層に依存します。 我々は,CoTトラジェクトリの最短接頭辞として定義された最小サフィシエント CoT (MSC) を導入する。
  論文  参考訳（メタデータ） (2026-06-16T08:52:15Z)
• Chain Of Thought Compression: A Theoritical Analysis [24.613200477865572]
  Chain-of-Thought (CoT)は、大規模言語モデルの高度な推論能力を解放した。 CoTは、余分なトークンの生成によって計算コストが禁止される。 最近の研究では、潜在状態への推論ステップの圧縮(暗黙のCoT圧縮)がトークン効率の代替となることが示されている。
  論文  参考訳（メタデータ） (2026-01-29T11:42:03Z)
• CoT-Seg: Rethinking Segmentation with Chain-of-Thought Reasoning and Self-Correction [50.67483317563736]
  本稿では,段階的に考察し,必要な情報を検索し,結果を生成し,自己評価を行い,結果を洗練するシステムを提案する。 CoT-Segは、思考の連鎖推論と自己補正を組み合わせることで、推論セグメンテーションを再考する、トレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-01-24T11:41:54Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• AdaCoT: Pareto-Optimal Adaptive Chain-of-Thought Triggering via Reinforcement Learning [30.265984245328124]
  Chain-of-Thoughtは、すべてのクエリに対する長い推論ステップを無差別に生成する。 AdaCoT(Adaptive Chain-of-Thought)は、LLMがCoTを呼び出すタイミングを適応的に決定できる新しいフレームワークである。 重要な技術的貢献はSLM(Selective Loss Masking)であり、決定境界崩壊の防止を目的としている。
  論文  参考訳（メタデータ） (2025-05-17T08:27:00Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
  CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。 復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
  論文  参考訳（メタデータ） (2024-02-15T18:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。