論文の概要: Agentic Context Learning with Self-Discovered Specification

• arxiv url: http://arxiv.org/abs/2607.09794v1
• Date: Thu, 09 Jul 2026 05:37:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.196717
• Title: Agentic Context Learning with Self-Discovered Specification
• Title（参考訳）: 自己発見仕様を用いたエージェントコンテキスト学習
• Abstract要約: LLMは、事前トレーニングから欠く複雑なコンテキストから、新しいタスク固有の知識を学び、適用しなければならない。 我々は、なぜこの設定が難しいのかを理解するために、包括的な実証的研究を行う。
• 参考スコア（独自算出の注目度）: 25.39166290895263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context learning is an emerging inference-time task where LLMs must learn and apply novel, task-specific knowledge from intricate contexts absent from pre-training; even frontier models score under 24% task success. In this work, we conduct a comprehensive empirical study to understand why this setting remains difficult. A natural hypothesis is that failures stem from content access; yet across twelve retrieval, reflection, and verification baselines on CL-Bench, an extensive context learning benchmark, we find limited gains over direct full-context prompting. Further failure analysis reveals a key finding: unlike typical long-context tasks such as long document understanding, context learning requires not only recovering local content but also acquiring local specifications that are often unspecified in the query but distributed across the context: domain-specific formats, local rules, and completeness conditions. Across all 31,592 rubric items, we find that 55.4% clearly evaluate specification acquisition, while only 22.6% evaluate content acquisition. Moreover, despite 76.7% of specifications being unspecified in the user query, 95.5% are traceable to the context, indicating these are learnable obligations rather than hidden requirements. To validate this diagnosis, we design a deliberately simple intervention PSCI (private specification-contract induction) which extracts local specifications and enforces them through adversarial checking and repair; PSCI achieves state-of-the-art 28.14% with GPT-5.1 (+5.59 pp absolute and +24.8% relative) on CL-Bench, replicated on Qwen3.5-27B (+5.28 pp) and Gemini 3 Pro (+6.17 pp). Seventeen ablations further isolate the role of task-specific specifications. Overall, our results suggest context learning hinges on not only content acquisition but also specification acquisition.
• Abstract（参考訳）: コンテキスト学習は、LLMが事前学習に欠かせない複雑なコンテキストから、新しいタスク固有の知識を学習し、適用しなければならない、新たな推論時間タスクである。 本研究では,この設定がなぜ難しいのかを理解するために,総合的な実証的研究を行う。 自然の仮説では、失敗はコンテンツアクセスに由来するが、CL-Benchの検索、リフレクション、検証のベースラインでは、直接のフルコンテキストプロンプトよりも限られた利得しか得られない。 長い文書理解のような典型的な長期コンテキストのタスクとは異なり、コンテキスト学習はローカルコンテンツを復元するだけでなく、クエリではしばしば特定されていないが、コンテキストに分散するローカル仕様(ドメイン固有のフォーマット、ローカルルール、完全性条件)を取得する必要がある。 31,592件中55.4%が明確に仕様の取得を評価し、22.6%がコンテンツ取得を評価している。 さらに、ユーザクエリでは76.7%の仕様が特定されていないにもかかわらず、95.5%はコンテキストにトレース可能であり、これらは隠れた要件ではなく、学習可能な義務であることを示している。 CL-Bench 上の GPT-5.1 (+5.59 pp absolute and +24.8% relative) を用いて、Qwen3.5-27B (+5.28 pp) および Gemini 3 Pro (+6.17 pp) で再現した、最先端の 28.14% (+5.59 pp absolute and +24.8% relative) を達成する。 17の廃止により、タスク固有の仕様の役割はさらに分離される。 以上の結果から,コンテクスト学習はコンテンツ獲得だけでなく,仕様獲得にも結びつくことが示唆された。

関連論文リスト

• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• Counterfactual Benchmarking and Training for Factuality Consistency and Order-Robust Grounded Reasoning in LLMs over Heterogeneous Knowledge [21.86609553205461]
  大規模言語モデル(LLM)は、ユーザが提供する知識に基づく応答生成をますますサポートしている。 TKFQAは10,130の質問回答(QA)ペアをテーブル,テキスト,知識グラフ(KG)に接地した実数整合性ベンチマークである。 それぞれの例は明示的な反事実的推論チェーンから構築され、回答の正しさ、推論チェーンの精度、異なる入力順序に対するロバスト性などの共同評価を可能にする。
  論文  参考訳（メタデータ） (2026-08-08T00:46:32Z)
• CL4SE: A Context Learning Benchmark For Software Engineering Tasks [7.899464362501583]
  コンテキストエンジニアリングは、ソフトウェア工学(SE)タスクにおいて、LLM(Large Language Models)の可能性を解き放つための重要なパラダイムとして登場した。 既存の研究には、SE固有のコンテキストタイプの体系的な分類と、異なるコンテキストの効果を定量化する専用のベンチマークが欠けている。 CL4SE (Context Learning for Software Engineering) は,4つのSE指向のコンテキストタイプを詳細に分類した総合的なベンチマークである。 30以上のオープンソースプロジェクトから13,000以上のサンプルからなる高品質なデータセットを構築し、9つの指標で5つの主流を評価します。
  論文  参考訳（メタデータ） (2026-02-26T14:28:57Z)
• Private PoEtry: Private In-Context Learning via Product of Experts [58.496468062236225]
  In-context Learning (ICL) は、大規模言語モデルが推論時に少数の例だけで新しいタスクに適応できるようにする。 ICLに対する既存の差分プライバシーアプローチは、計算コストが高いか、オーバーサンプリング、合成データ生成、あるいは不要なしきい値設定に依存している。 我々は、Product-of-Expertsモデルのレンズを通してプライベートICLを再構成し、理論的に基盤付けられたフレームワークを与え、アルゴリズムを自明に並列化することができる。 本手法は,従来のDP-ICL法と比較して平均30ポイント以上精度が向上し,高いプライバシー保証を維持した。
  論文  参考訳（メタデータ） (2026-02-04T19:56:24Z)
• CL-bench: A Benchmark for Context Learning [152.2879060355882]
  この能力は人間が自然に持っているが、ほとんど見過ごされている重要な能力である。 我々は,500のコンテキスト,1,899のタスク,31,607の検証からなる実世界のベンチマークであるCL-benchを紹介する。 CL-benchは、この基本的な能力でLMを構築するためのステップであり、よりインテリジェントで、現実のシナリオでのデプロイメントを前進させる。
  論文  参考訳（メタデータ） (2026-02-03T14:37:47Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• Harnessing GPT-3.5-turbo for Rhetorical Role Prediction in Legal Cases [0.16385815610837165]
  訴訟の修辞的役割予測タスクにおいて,大規模な事前学習型生成変換器(GPT-3.5-turbo)を問うための一段階適用手法の総合的研究を提案する。 実例数,ラベルの定義,(ラベル付き)テキストコンテキストの提示,およびこのコンテキストに関する特定の質問が,モデルの性能に肯定的な影響を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-26T14:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。