論文の概要: On the Fragility of Tasks under Composition: Implicit Budgeting in Language Models

• arxiv url: http://arxiv.org/abs/2610.27190v1
• Date: Mon, 19 Oct 2026 19:23:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.479273
• Title: On the Fragility of Tasks under Composition: Implicit Budgeting in Language Models
• Title（参考訳）: 構成中の課題の脆弱性について:言語モデルにおける暗黙の予算化
• Abstract要約: モデルは、タスクが構成されているときや、すべての構成タスクを確実に分離して解決できるときでも、はるかに多くのエラーを発生させる。 オープンウェイトモデルとフロンティアモデルであるClaude Opus 5の両方で、この効果の背景にある暗黙的な考え方の予算が示されています。
• 参考スコア（独自算出の注目度）: 39.12144040784204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models are increasingly asked to handle several tasks within a single prompt. Doing so requires solving each task correctly while integrating the resulting answers into a coherent response. In this paper, we identify a fundamental limitation in this process, where models make substantially more errors when tasks are composed, even when they can solve every constituent task reliably in isolation. This degradation cannot be fully explained by the accumulation of independent errors. Across both open-weight models and the frontier model Claude Opus 5, our findings instead point to an implicit thinking budget underlying this effect. In particular, under composition, models use substantially fewer tokens per task than in isolation, even when the full sequence remains well within the context window. Tasks that require longer solution traces in isolation are consequently more $\textit{fragile}$ under composition, i.e., models make more errors on prompts containing these tasks. In isolation, non-fragile tasks receive more reasoning than they need and waste compute. However, by grouping tasks according to their fragility, the implicit budgeting can be manipulated to reduce token usage by $43$\% across a range of math and linguistic tasks while also preserving accuracy.
• Abstract（参考訳）: 現代の言語モデルでは、ひとつのプロンプト内で複数のタスクを扱うように求められている。 そのためには、結果の回答を一貫性のある応答に統合しながら、各タスクを正しく解決する必要がある。 本稿では,本プロセスにおける基本的限界を同定し,各タスクを独立して解くことができても,モデルがタスクを構成する際のエラーを著しく多くする手法を提案する。 この分解は独立誤差の蓄積によって完全に説明できない。 オープンウェイトモデルとフロンティアモデルであるClaude Opus 5の両方で、この効果の背景にある暗黙的な考え方の予算が示されています。 特に構成下では、完全なシーケンスがコンテキストウィンドウ内でうまく残っている場合でも、モデルでは、分離された場合よりもタスク毎のトークンが大幅に少ない。 その結果、より長い解トレースを必要とするタスクは、構成下においてより$\textit{fragile}$、すなわちモデルがこれらのタスクを含むプロンプトに対してより多くのエラーを発生させる。 独立して、非脆弱なタスクは必要以上に推論を受け取り、計算を無駄にする。 しかし、その脆弱さに応じてタスクをグループ化することで、暗黙の予算化を操作でき、トークンの使用量を43ドル\%削減できる。

関連論文リスト

• Task Arithmetic in Trust Region: A Training-Free Model Merging Approach to Navigate Knowledge Conflicts [13.356826891549856]
  マルチタスクモデルマージは、複数の微調整されたモデルから知識を統合するための効率的なソリューションを提供する。 Task Arithmetic (TA) の有望なパフォーマンスにもかかわらず、タスクベクトル間で衝突が発生する可能性がある。 本稿では,信頼領域をモデルパラメータ空間の次元として定義するタスク算術的信頼領域(TATR)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T04:09:56Z)
• Sweeping Heterogeneity with Smart MoPs: Mixture of Prompts for LLM Task Adaptation [43.32632163091792]
  大規模言語モデル(LLM)は、テキスト要約や数学的問題など、さまざまなタスクを解く能力を持つ。 計算コストが高いため、現在のトレンドは、プロンプトインストラクションチューニングを使用して、モノリシックで事前訓練されたLLMを、新しい-しかししばしば個別の-下流タスクのためによりよく調整することである。 MoPはマルチタスク、マルチソースシナリオにおいて、プロンプトトレーニングの"干渉"を同時に緩和することができる。
  論文  参考訳（メタデータ） (2023-10-04T14:11:12Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• USB: A Unified Summarization Benchmark Across Tasks and Domains [68.82726887802856]
  ウィキペディア由来のベンチマークを導入し、クラウドソースアノテーションの豊富なセットを補完し、8ドルの相互関連タスクをサポートする。 このベンチマークで様々な手法を比較し、複数のタスクにおいて、中程度の大きさの微調整されたモデルが、より大きな数発の言語モデルよりも一貫して優れていることを発見した。
  論文  参考訳（メタデータ） (2023-05-23T17:39:54Z)
• Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
  本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:28:20Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Token Manipulation Generative Adversarial Network for Text Generation [0.0]
  我々は条件付きテキスト生成問題を,make-a-blank と fill-in-blank の2つのタスクに分解し,前者を拡張してより複雑なトークン操作を行う。 提案モデルでは,限界に対処するだけでなく,品質や多様性の面で性能を損なうことなく良好な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-05-06T13:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。