論文の概要: No More Free Lunch: Corpus Task Complexity Matters as Corpora Grow

• arxiv url: http://arxiv.org/abs/2609.29245v1
• Date: Thu, 24 Sep 2026 08:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.798909
• Title: No More Free Lunch: Corpus Task Complexity Matters as Corpora Grow
• Title（参考訳）: ノー・フリー・ランチ:コーパス・タスクの複雑さが問題、コーパスの成長で
• Abstract要約: コーパス・タスク・コンプレシティの概念を定義し、コーパス・サイズによってタスクの困難さが増大する様子を特徴付ける。 コーパスサイズが2次以上の高いCTCのクラスに属する10のタスクを新たに導入する。 例えば、効率的なブロックスパースとハイブリッドアテンションアプローチは、低いCTCタスクにおける完全なアテンションパフォーマンスと一貫して一致しますが、高いCTCタスクでははるかに低下します。
• 参考スコア（独自算出の注目度）: 50.87987233318157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a large corpus, the questions one might ask can vary -- from "When was the first human heart transplant?" to "What are all the contradictory claims in this literature?" -- but what makes some questions more challenging than others? In this work, we define a notion of Corpus Task Complexity (CTC) that characterizes tasks by how their difficulty grows with corpus size; for instance, a retrieval query only requires a single linear pass over a corpus, while finding contradictions requires checking a quadratically growing set of claim pairs. Observing that prior work has largely only studied tasks whose difficulty grows linearly with corpus size, which we call low CTC tasks, we introduce 10 new tasks belonging to a class of high CTC whose difficulty grows quadratically or more in corpus size. We find that high-CTC tasks not only grow much more challenging on average at longer contexts for LCLMs, they reverse many modeling conclusions drawn solely from low-CTC evaluations. For instance, efficient block-sparse and hybrid attention approaches consistently match full attention performance on low-CTC tasks, but degrade much more on high-CTC tasks. Large-corpus high-CTC reasoning thus remains an open challenge as full attention is too costly to scale, motivating future research on these tasks. We release our code, data, and 22-task suite (CTC-Bench), to facilitate future research in this area.
• Abstract（参考訳）: コーパスが大きければ、「最初のヒトの心臓移植はいつだったか?」から「この文献の矛盾する主張は、何だったのか?」まで、質問の答えは様々だ。 本研究は,コーパス・タスク・複雑度(CTC)の概念を定義し,コーパス・サイズによるタスクの困難さの増大を特徴付ける。例えば,検索クエリはコーパスに1つの線形パスしか必要とせず,矛盾を見つけるためには,クレーム・ペアの二次的増加をチェックする必要がある。 従来の課題は, コーパスサイズが小さく, コーパスサイズが小さくなり, コーパスサイズが2次以上の高いCTCのクラスに属するタスクを新たに10個導入した。 LCLMでは,高CTCタスクはより長い文脈で平均的に困難になるだけでなく,低CTC評価のみから引き出された多くのモデリング結果が逆転することがわかった。 例えば、効率的なブロックスパースとハイブリッドアテンションアプローチは、低CTCタスクにおける完全なアテンションパフォーマンスと一貫して一致しているが、高CTCタスクでははるかに低下する。 したがって、大規模な高CTC推論は、十分に注意を払ってスケールするにはコストがかかりすぎるため、オープンな課題であり続けており、これらのタスクに関する将来の研究を動機付けている。 この分野での今後の研究を促進するため、コード、データ、22タスクスイート(CTC-Bench)をリリースします。

関連論文リスト

• Operationalising the Superficial Alignment Hypothesis via Task Complexity [49.93635747700126]
  本稿では,タスクの目標性能を達成する最短プログラムの長さという,タスク複雑性と呼ばれる新しい指標を提案する。 私たちの結果は、タスク適応には驚くほど少ない情報が必要であり、たいていは数キロバイトです。
  論文  参考訳（メタデータ） (2026-02-17T18:59:39Z)
• Scaling Code-Assisted Chain-of-Thoughts and Instructions for Model Reasoning [65.20602712957725]
  Cacoは、高品質で検証可能な多様な命令-CoT推論データの合成を自動化する新しいフレームワークである。 我々の研究は、人間の介入なしに自己持続的で信頼できる推論システムを構築するためのパラダイムを確立します。
  論文  参考訳（メタデータ） (2025-10-05T07:59:24Z)
• How Well do LLMs Compress Their Own Chain-of-Thought? A Token Complexity Approach [4.055489363682199]
  推論長とモデル性能の関係について,最初の系統的研究を行った。 このトレードオフは、非常に明確な推論チェーンにまたがって持続することを示す。 提案手法は, 理論的な限界から遠く離れていることを示す。
  論文  参考訳（メタデータ） (2025-03-03T03:48:20Z)
• QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [75.81394991657545]
  問題をモデル化するために情報ボトルネック理論(IB)を導入する。 IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。 提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
  論文  参考訳（メタデータ） (2024-08-20T02:44:45Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)
• Junk DNA Hypothesis: Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs [66.70431182736787]
  大型言語モデル(LLM)の重みには、かなりの冗長性が含まれていると信じられている。 本稿では,下流の難題に対処する上で必要となる重要な知識を包含する,事前訓練されたモデル重みの小さなマグニチュード重みについて述べる。
  論文  参考訳（メタデータ） (2023-09-29T22:55:06Z)
• Learning to Perform Complex Tasks through Compositional Fine-Tuning of Language Models [20.173322408302134]
  構成微調整は、対象タスクをコンポーネントタスクに明示的に分解するアプローチである。 CFTは、同じ量のデータでもエンド・ツー・エンドの学習より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-23T03:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。