論文の概要: Learning to Learn from Context: Synthetic Training from Perturbed Public Documents

• arxiv url: http://arxiv.org/abs/2609.33642v1
• Date: Sun, 27 Sep 2026 15:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:08:25.662905
• Title: Learning to Learn from Context: Synthetic Training from Perturbed Public Documents
• Title（参考訳）: 文脈から学ぶ: 構造化された公開文書からの合成学習
• Abstract要約: 現実世界のタスクは、事前訓練されたパラメトリック知識ではなく、複雑なタスク固有のコンテキストから学ぶために、大きな言語モデル(LLM)を必要とすることが多い。 この研究は、小さな摂動を伴う高品質な公開文書の利用を試み、LLMが文脈依存の推論トレースと回答をうまく生成できることを実証的に発見する。 我々は, (i) 原文の書き直しによる暗記リスクの低減, (ii) 文書に対する推論を必要とする質問や文言の生成, (iii) 文書を文脈として回答する合成パイプラインを構築し, (iv) 真に文書に依存しているサンプルのみを認める。
• 参考スコア（独自算出の注目度）: 13.725426596836991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world tasks often require large language models (LLMs) to learn from complex task-specific context rather than pretrained parametric knowledge. This capability remains a weakness of LLMs, while human annotation for such task contexts is expensive and difficult to scale. Public high-quality documents are an abundant alternative, but much of the public web has already been consumed during pretraining: training on such documents naively would reward memorization rather than context learning. In this work, we attempt to make use of high-quality public documents with small perturbations and empirically find that LLMs can successfully generate context-dependent reasoning traces and answers, which are then used to train a student model. Specifically, we construct a synthesis pipeline that (i) rewrites source documents to reduce memorization risk, (ii) generates questions and rubrics that require reasoning over the document, (iii) answers the questions with the document as context, and (iv) admits only samples that genuinely depend on the document. Without any human annotators, our pipeline generates about 10k samples from 3.5k documents, and the resulting student model substantially improves the performance on CL-bench. SFT raises a Qwen3.6-35B-A3B student from 13.7% to 22.8%, and a subsequent rubric-reward RL stage reaches 24.6%, on CL-bench comparable with a frontier model of over a trillion parameters, Qwen3.8-2.4T (23.9%). We also observe a broad transfer of improvements to long-context understanding, instruction following, and reasoning, while code generation and knowledge remain mostly flat. We hope this work provides a reproducible and scalable way to improve the ability of LLMs to learn from context, and to facilitate further research on context-grounded reasoning.
• Abstract（参考訳）: 現実世界のタスクは、事前訓練されたパラメトリック知識ではなく、複雑なタスク固有のコンテキストから学ぶために、大きな言語モデル(LLM)を必要とすることが多い。 この能力はLLMの弱点であり、そのようなタスクコンテキストに対する人間のアノテーションは高価でスケールが難しい。 パブリックな高品質なドキュメントは、豊富な代替手段であるが、公開Webの多くは、事前訓練中に既に消費されている。 本研究では,低摂動による高品質な公開文書の利用を試み,LLMが文脈依存的推論のトレースと回答をうまく生成できることを実証的に発見し,学生モデルの学習に利用した。 具体的には 合成パイプラインを構築し (i)暗記リスクを低減するため、原文を書き換える。 二 書面上の理屈を必要とする質問及び筆跡を生成すること。 (三)文書を文脈として回答し、 (iv) 真に文書に依存するサンプルのみを許可する。 人間のアノテータがなければ,3.5k文書から約10kサンプルを生成し,結果として得られた学生モデルによりCLベンチの性能が大幅に向上する。 SFTはQwen3.6-35B-A3Bの学生を13.7%から22.8%に引き上げ、その後のルーリック・リワードのRLステージは1兆以上のパラメータのフロンティアモデルであるQwen3.8-2.4T (23.9%)に匹敵するCLベンチで24.6%に達した。 また、コード生成と知識は概ねフラットでありながら、長いコンテキストの理解、指示の追従、推論への幅広い改善の移行も観察します。 この研究は、LLMが文脈から学習する能力を改善し、文脈に基づく推論のさらなる研究を促進するために、再現可能でスケーラブルな方法を提供することを願っている。

関連論文リスト

• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• Training Plug-n-Play Knowledge Modules with Deep Context Distillation [52.94830874557649]
  本稿では,文書レベルの知識モジュール(KM)をトレーニングすることで,知識をモジュール化する手法を提案する。 KMはパラメータ効率のよいLoRAモジュールとして実装された軽量コンポーネントで、新しいドキュメントに関する情報を格納するように訓練されている。 提案手法は,2つのデータセットにまたがって,標準的な次世代予測および事前指導訓練技術より優れる。
  論文  参考訳（メタデータ） (2025-03-11T01:07:57Z)
• Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context [31.091013417498825]
  文脈反復(CoRe)という,シンプルで効果的な手法を提案する。 これにより、サポートドキュメント内の連続した推論セグメントが最適な順序で提示されることが保証される。 CoReを用いて,マルチホップQAタスクのF1スコアを最大30%改善し,合成タスクの精度を最大70%向上する。
  論文  参考訳（メタデータ） (2024-10-09T17:41:53Z)
• Instruction-tuned Language Models are Better Knowledge Learners [106.38526595116961]
  文書の学習に先立って質問を指導するPIT(Pre-instruction-tuning)を提案する。 大規模な実験とアブレーション研究により、プレインストラクションチューニングはLLMが新しい文書から知識を吸収する能力を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-20T09:20:32Z)
• Did the Neurons Read your Book? Document-level Membership Inference for Large Language Models [17.993892458845124]
  文書レベルのメンバシップを予測し,OpenLLaMA-7B上でインスタンス化するブラックボックス手法を提案する。 本稿では,文書レベルのメンバシップタスクにおいて,プライバシ文献で使用される文レベルのメンバシップ推論攻撃よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-23T15:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。