論文の概要: From Isolated Tasks to Structured Capabilities: A Multilayer Taxonomy for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.22182v1
• Date: Fri, 24 Jul 2026 10:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.113914
• Title: From Isolated Tasks to Structured Capabilities: A Multilayer Taxonomy for Large Language Models
• Title（参考訳）: 孤立タスクから構造化能力へ:大規模言語モデルのための多層分類法
• Abstract要約: 大規模言語モデル(LLM)の評価は多様なタスクとベンチマークにまたがる。 証拠は、調査する能力よりも、タスクを中心に組織化されている。 14の能力ドメインと91のサブスキルからなる多層分類を導入した。
• 参考スコア（独自算出の注目度）: 41.36461541603076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) evaluation spans diverse tasks and benchmarks, yet evidence remains organized around tasks rather than the capabilities they probe. This fragmentation limits cross-study comparison, obscures capabilities tasks recruit, and makes coverage gaps difficult to identify. We introduce a multi-layer taxonomy of 14 capability domains and 91 subskills across Primitive, Constructed, and Integrative layers. Human cognitive science guides capability definition and organization, not LLM architecture. Layer assignments draw on developmental precedence and hypothesized functional support, while human-origin constructs are adapted to observable model behavior. To demonstrate operational utility, we screened 31,505 papers from ACL, AAAI, ICML, and NeurIPS between 2023 and 2025 and mapped 15,934 LLM-focused papers through multi-model annotation, consensus, and arbitration. Direct research attention concentrated on Language-Semantic Competence (3,551; 22.3%), Reasoning (3,388; 21.3%), Planning and Decision-Making (2,149; 13.5%), and Perception (1,954; 12.3%), whereas six domains appeared in fewer than 2% of papers. Within domains, the most frequent subskill had a median prevalence of 97.9% and appeared in at least 90% of papers in 10 of 14 domains. Language-Semantic Competence and Reasoning formed the highest-volume pair (n = 1,864; 11.7%; lift = 2.47), whereas Theory of Mind and Social Reasoning and Interaction showed the highest lift among pairs with at least 20 co-occurrences (n = 62; lift = 30.84). By shifting the unit of analysis from isolated tasks to structured capabilities, the taxonomy supports research organization, coverage audits, evaluation interpretation, and testable hypotheses for diagnosis, training, and transfer.
• Abstract（参考訳）: 大規模言語モデル(LLM)の評価は多様なタスクとベンチマークにまたがっているが、調査する能力よりもタスクを中心に編成された証拠が残っている。 この断片化はクロススタディ比較を制限し、タスクのリクルートを曖昧にし、カバレッジギャップの特定を困難にする。 14の機能ドメインと91のサブスキルをプリミティブ層、コンストラクト層、インテグレート層に分けた多層分類を導入する。 人間の認知科学はLLMアーキテクチャではなく、能力の定義と組織を導く。 層配置は発達優先性や仮説化された機能的サポートに基づいており、人間-オリジン構成物は観測可能なモデル行動に適応している。 2023年から2025年にかけて,ACL,AAAI,ICML,NeurIPSから31,505枚の論文をスクリーニングし,マルチモデルアノテーション,コンセンサス,仲裁を通じて15,934枚のLCM対応論文をマッピングした。 直接的な研究は、言語・セマンティック・コンピテンス(3,551; 22.3%)、推論(3,388; 21.3%)、計画・意思決定(2,149; 13.5%)、知覚(1,954; 12.3%)に集中し、6つのドメインは2%未満の論文に現れた。 ドメイン内では、最も頻繁なサブスキルは97.9%であり、14ドメイン中10ドメインで少なくとも90%の論文に現れた。 言語・セマンティック能力と推論は最高巻数(n = 1,864; 11.7%; lift = 2.47)を形成したのに対し、心と社会的推論と相互作用の理論は少なくとも20の共起(n = 62; lift = 30.84)を持つペアの中で最も高いリフトを示した。 分析単位を独立したタスクから構造化された機能にシフトすることで、分類学は研究組織、調査監査、評価解釈、診断、訓練、移動のためのテスト可能な仮説をサポートする。

関連論文リスト

• Large Multimodal Agents for Intelligent Transportation Systems: Architectures, Evidence, and Deployment Challenges [10.296219658873676]
  このレビューは、2023年1月から2026年8月3日までにリリースされた42の初等研究家族の監査可能なエビデンスマップを提供する。 モデルレベル、システムレベル、ハイブリッドマルチモダリティを区別し、システムアーキテクチャとアクション権限によって各ファミリーを分類する。
  論文  参考訳（メタデータ） (2026-08-08T15:22:40Z)
• ttda704 at SemEval-2026 Task 6: Structured Chain-of-Thought Prompting for Political Evasion Detection [0.006227637802384129]
  本稿では,米国大統領インタビューから抽出した英語質問応答対における政治回避戦略の分類に対処するSemEval-2026タスク6のシステムについて述べる。
  論文  参考訳（メタデータ） (2026-06-14T12:09:23Z)
• The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
  GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。 まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。 第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。 第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
  論文  参考訳（メタデータ） (2026-04-22T06:19:46Z)
• Task Complexity Matters: An Empirical Study of Reasoning in LLMs for Sentiment Analysis [2.1036545320600095]
  推論能力を持つ大規模言語モデル(LLM)は、推論が言語タスク全体のパフォーマンスを普遍的に改善する、という魅力的な物語を生み出している。 7つのモデルファミリーにまたがる504構成を包括的に評価することで,この主張を検証した。 その結果, 推論の有効性は, タスク依存的であり, 課題の多い仮定であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-27T14:49:05Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• AraReasoner: Evaluating Reasoning-Based LLMs for Arabic NLP [2.869780207429188]
  大規模言語モデル(LLM)は推論能力の顕著な進歩を示している。 しかし、アラビアデータにおける彼らのパフォーマンスは、豊富な形態学、多様な方言、複雑な文字によって特徴づけられ、未発見のままである。 本稿では,複数の推論に焦点をあてたLLMの総合的なベンチマーク研究について述べる。
  論文  参考訳（メタデータ） (2025-06-10T13:10:31Z)
• Law of the Weakest Link: Cross Capabilities of Large Language Models [102.91861246827797]
  我々は,Large Language Models (LLMs) が "Law of the Weakest Link" を示すことを示した。 これらの結果は, クロスキャパビリティタスクにおけるLLMの低性能化を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-09-30T05:12:01Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。