論文の概要: Context Training with Active Information Seeking

• arxiv url: http://arxiv.org/abs/2605.13050v2
• Date: Thu, 14 May 2026 12:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 15:19:49.912364
• Title: Context Training with Active Information Seeking
• Title（参考訳）: 能動的情報探索による文脈学習
• Authors: Zeyu Huang, Adhiguna Kuncoro, Qixuan Feng, Jiajun Shen, Lucio Dery, Arthur Szlam, Marc'Aurelio Ranzato,
• Abstract要約: 私たちは、アクティブな情報検索のために、Wikipediaの検索とブラウザツールを使ってコンテキストを調整します。 提案手法は,複数の候補コンテキストの維持と具体化を行う検索ベーストレーニング手法と組み合わせることで,一貫した,実質的な成果が得られることを示す。
• 参考スコア（独自算出の注目度）: 23.67605567495757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing large language models (LLMs) are expensive to adapt after deployment, especially when a task requires newly produced information or niche domain knowledge. Recent work has shown that, by manipulating and optimizing their context, LLMs can be tailored to downstream tasks without updating their weights. However, most existing methods remain closed-loop, relying solely on the model's intrinsic knowledge. In this paper, we equip these context optimizers with Wikipedia search and browser tools for active information seeking. We show that naively adding these tools to a standard sequential context optimization pipeline can actually degrade performance compared to baselines. However, when paired with a search-based training procedure that maintains and prunes multiple candidate contexts, active information seeking delivers consistent and substantial gains. We demonstrate these improvements across diverse domains, including low-resource translation (Flores+), health scenarios (HealthBench), and reasoning-heavy tasks (LiveCodeBench and Humanity's Last Exam). Furthermore, our method proves to be data-efficient, robust across different hyperparameters, and capable of generating effective textual contexts that generalize well across different models.
• Abstract（参考訳）: 既存の大規模言語モデル(LLM)の多くは、特にタスクが新しく生成された情報やニッチなドメイン知識を必要とする場合、デプロイ後に適応するのに費用がかかる。 近年の研究では、LLMのコンテキストの操作と最適化によって、重みを更新することなく、下流タスクに合わせることができることが示されている。 しかし、既存のほとんどの手法は閉ループのままであり、モデルの本質的な知識にのみ依存している。 本稿では,これらのコンテキストオプティマイザを,アクティブな情報検索のためのウィキペディア検索とブラウザツールに装備する。 これらのツールを標準的なシーケンシャルなコンテキスト最適化パイプラインに追加すると、ベースラインに比べてパフォーマンスが低下する可能性があることを示す。 しかし、複数の候補コンテキストを維持して引き起こす検索ベースのトレーニング手順と組み合わせると、アクティブな情報検索は一貫性と実質的な利益をもたらす。 低リソース翻訳(Flores+)、健康シナリオ(HealthBench)、推論重大タスク(LiveCodeBenchとHumanityのLast Exam)など、さまざまな領域でこれらの改善を実証する。 さらに,本手法は,データ効率が高く,異なるハイパーパラメータに対して頑健であり,異なるモデル間でよく一般化された効果的なテキストコンテキストを生成することができることを示す。

関連論文リスト

• SIEVE: Sample-Efficient Parametric Learning from Natural Language [66.46967795931559]
  本稿では,自然言語の文脈からサンプル効率の高いパラメトリック学習手法であるSIEVEを提案する。 我々は、コンテキストが分解可能であるという洞察を活用する新しい合成データ生成パイプライン、SIEVE-GENを使用する。 以上の結果から,SIEVEは従来の文脈蒸留法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2026-02-02T18:52:52Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Prompt Refinement or Fine-tuning? Best Practices for using LLMs in Computational Social Science Tasks [0.0]
  本稿では,23の社会的知識課題のベンチマークにおいて,現代のLCMに基づく分類手法の性能について概説する。 結果は、より大きな語彙と事前学習コーパスを持つモデルを選択すること、AI強化プロンプトに賛成する単純なゼロショットを避けること、タスク固有のデータに微調整すること、の3つのベストプラクティスを示している。
  論文  参考訳（メタデータ） (2024-08-02T15:46:36Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Structured Packing in LLM Training Improves Long Context Utilization [11.484631908171465]
  本研究では,意味的相互依存を高めるための学習データの構造化について検討する。 本研究では,SPLiCe(Structured Packing for Long Context)法を提案する。 我々はSPLiCeを様々なサイズのモデルで実証的に検証した。
  論文  参考訳（メタデータ） (2023-12-28T16:25:52Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。