論文の概要: Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation

• arxiv url: http://arxiv.org/abs/2608.02639v1
• Date: Fri, 31 Jul 2026 10:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.872128
• Title: Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation
• Title（参考訳）: Instruction Stacking Collapse: ベンチマークとpromptコンパイルの能力依存値
• Abstract要約: 本研究では,命令追従による制約の蓄積について検討する。 我々は,24個の検証済み命令を1回に1から20個積み重ねたベンチマークを導入し,実運用レベルのLCMを3つ評価する。 次にトレーニング不要のコンパイラを評価し、スタックされたプロンプトを1回の呼び出しで書き直し、クエリ間で再利用します。
• 参考スコア（独自算出の注目度）: 0.42481744176244507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Production prompts rarely carry a single instruction. One system message may require valid JSON, a word limit, three citations, and a fixed tone at the same time. We study how instruction-following degrades as such constraints accumulate. We introduce a benchmark that stacks 24 verifier-checked instructions, one to twenty at a time, and evaluate three production-tier LLMs (Claude Sonnet 4.6, GPT-5-mini, Gemini 2.5 Flash). Instruction-following degrades non-linearly: the follow rate falls from ~96% to as low as 20%, driven by a structured and reproducible set of pairwise conflicts. A single "output JSON" constraint, for example, is jointly unsatisfiable with nine others. We then evaluate a training-free remedy: an instruction compiler that rewrites the stacked prompt in a single LLM call and is reused across queries. Its benefit is capability-graded. It recovers up to +11 points of follow rate for weaker models, which are also the models most often deployed at scale, while leaving stronger models, which already internalise the same structure, essentially unchanged. Cluster-robust tests, same-baseline controls, and a within-family scaling ladder attribute the gain to the rewrite itself rather than to additional tokens, reordering, or measurement headroom. We release the benchmark, verifiers, and cached runs for full reproduction.
• Abstract（参考訳）: 生産プロンプトは単一の命令をほとんど持たない。 1つのシステムメッセージには、有効なJSON、単語制限、3つの引用、固定トーンが同時に必要となる。 本研究では,命令追従による制約の蓄積について検討する。 我々は,24個の検証済み命令を1回に1から20個積み重ねて,3つの生産レベルLCM(Claude Sonnet 4.6, GPT-5-mini, Gemini 2.5 Flash)を評価するベンチマークを導入する。 指示追従は非直線的に劣化する: 追従率は ~96% から 20% まで減少し、構造化され再現可能な対の衝突によって引き起こされる。 例えば、単一の"出力JSON"制約は、他の9つと共同で満足できない。 命令コンパイラは、積み重ねられたプロンプトを単一のLSMコールで書き直し、クエリ間で再利用する。 その利点は能力の低下である。 より弱いモデルの追従速度は+11ポイントまで回復するが、これはしばしば大規模に展開されるモデルであると同時に、既に同じ構造を内部化している強いモデルも基本的には変わらない。 クラスタロバストテスト、同じベースラインコントロール、および内部スケールのラグは、追加のトークンやリオーダ、あるいは測定ヘッドルームよりも、リライト自体にメリットがある。 ベンチマーク、検証、キャッシュされた実行を完全な再現のためにリリースします。

関連論文リスト

• PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
  大規模言語モデルは、ますます自律的なエージェントとして機能している。 現在のベンチマークには3つの制限がある。 Evalは、2段階のフレームワークで構築されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-09T13:25:54Z)
• Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework [0.3867363075280543]
  提案するクローズドループフレームワークでは,すべてのレビューコメントを永続的な行動規則として符号化する。 このフレームワークは、バージョン管理された命令ファイル、自己レビューチェックリスト、自動検証に設定された蓄積ルールを組み合わせる。 我々のフレームワークは、重み付けの更新なしに永続的なクロスセッション学習を実現し、既存のベンチマークが測定しない経験的な次元(時間とともに振る舞いの整合性)に対処する。
  論文  参考訳（メタデータ） (2026-07-13T21:13:46Z)
• ProactBench: Beyond What The User Asked For [5.422521416406412]
  ProactBenchは、textscEmergent、単一の公開アンカーからの推論、textscCritical、複数のアンカー間での合成、textscRecovery、タスク完了後の前方にある値の3つのフェーズ型に分解する。 我々の情報アシンメトリーは、スタイル強調スコア、漏洩、外部コンテキスト汚染、情報ダンプに対して防御します。
  論文  参考訳（メタデータ） (2026-05-09T23:56:04Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
  複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。 提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。 本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
  論文  参考訳（メタデータ） (2026-03-11T19:51:33Z)
• Memory in Large Language Models: Mechanisms, Evaluation and Evolution [8.158439933515131]
  我々は,4つの分類法(パラメトリック,文脈,外部,手続き/エピソード)とメモリ四倍法(ロケーション,永続性,書き込み/アクセスパス,制御性)を提案する。 DMM Gov: DAPT/TAPT, PEFT, モデル編集(ROME, MEND, MEMIT, SERAC)、RAGをコーディネートして監査可能なループを形成する。 これにより、再現可能で、同等で、統制可能な、研究と展開のための座標系が得られる。
  論文  参考訳（メタデータ） (2025-09-23T10:06:58Z)
• Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs [56.47577824219207]
  本稿では,既製の大規模言語モデルを補完して,希望するトークン数を正確に生成するプロンプトベースの戦略を提案する。 プロンプトはカウントダウンマーカーと明示的なカウントルールを付加し、モデルが"カウント中に書き込む"。 MT-Bench-LI では、GPT-4.1 の厳格な長さコンプライアンスは、単純なプロンプトの30%以下から、カウントダウンプロンプトの95%以上へと飛躍する。
  論文  参考訳（メタデータ） (2025-08-19T13:12:01Z)
• E3-Rewrite: Learning to Rewrite SQL for Executability, Equivalence,and Efficiency [35.2472369073336]
  E3-Rewriteは実行可能で等価で効率的なクエリを生成するフレームワークである。 コンテキスト構築モジュールと強化学習フレームワークの2つのコアコンポーネントを統合している。 E3-Rewriteは、主要なベースラインと比較してクエリ実行時間を最大25.6%短縮することができる。
  論文  参考訳（メタデータ） (2025-08-12T15:38:10Z)
• The Art of Repair: Optimizing Iterative Program Repair with Instruction-Tuned Models [48.073219761367184]
  複数出力の生成と複数ラウンドの反復のバランスをとるAPRパイプラインについて検討する。 3つのサイズ(1K, 30K, 65K)と2つのテクニック(フルファインチューニングとLoRA)を持つAPRデータセット上で各モデルを微調整する。 その結果,微調整データセットのごく一部(1%)しか使用せず,最大78%の改善が達成できた。
  論文  参考訳（メタデータ） (2025-05-05T18:06:51Z)
• Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
  大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。 この問題に対処するための単純な分散結合フレームワークを導入する。 我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
  論文  参考訳（メタデータ） (2024-05-22T08:18:19Z)
• Contrastive Instruction Tuning [61.97704869248903]
  意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。 PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
  論文  参考訳（メタデータ） (2024-02-17T00:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。