論文の概要: SIEVE: Sample-Efficient Parametric Learning from Natural Language

• arxiv url: http://arxiv.org/abs/2604.02339v1
• Date: Mon, 02 Feb 2026 18:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.297997
• Title: SIEVE: Sample-Efficient Parametric Learning from Natural Language
• Title（参考訳）: SIEVE: 自然言語からのサンプル有効パラメトリック学習
• Authors: Parth Asawa, Alexandros G. Dimakis, Matei Zaharia,
• Abstract要約: 本稿では,自然言語の文脈からサンプル効率の高いパラメトリック学習手法であるSIEVEを提案する。 我々は、コンテキストが分解可能であるという洞察を活用する新しい合成データ生成パイプライン、SIEVE-GENを使用する。 以上の結果から,SIEVEは従来の文脈蒸留法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 66.46967795931559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language context-such as instructions, knowledge, or feedback-contains rich signal for adapting language models. While in-context learning provides adaptation via the prompt, parametric learning persists into model weights and can improve performance further, though is data hungry and heavily relies on either high-quality traces or automated verifiers. We propose SIEVE, a method for sample-efficient parametric learning from natural language context that requires as few as three query examples. SIEVE uses a novel synthetic data generation pipeline, SIEVE-GEN, that leverages the insight that context is decomposable. Decomposing context allows us to generate higher quality rollouts by pairing synthetic queries with only the applicable context rather than the entirety, then using context distillation to internalize context into the model. We evaluate in reasoning settings where context is necessary, including custom domains and the RuleArena and Machine Translation from One Book tasks. Our results show that SIEVE outperforms prior context distillation methods using just three query examples, demonstrating how to achieve sample-efficient parametric learning from natural language.
• Abstract（参考訳）: 自然言語の文脈、例えば指示、知識、フィードバックは、言語モデルに適応するための豊かな信号を含む。 文脈内学習はプロンプトを介して適応するが、パラメトリック学習はモデルウェイトに留まり、さらにパフォーマンスを向上させることができる。 SIEVEは,3つのクエリサンプルを必要とする自然言語コンテキストから,サンプル効率のよいパラメトリック学習手法である。 SIEVEは、コンテキストが分解可能であるという洞察を活用する新しい合成データ生成パイプラインであるSIEVE-GENを使用している。 コンテキストを分解することで、合成クエリを全体ではなく、適用可能なコンテキストのみとペアリングし、コンテキスト蒸留を用いてコンテキストをモデルに内在化することで、高品質なロールアウトを生成することができる。 我々は、カスタムドメインやルールアリーナ、ワンブックタスクからの機械翻訳など、コンテキストが必要な推論設定で評価する。 以上の結果から,SIEVEは3つのクエリ例を用いて,従来の文脈蒸留法よりも優れた性能を示し,サンプル効率のよいパラメトリック学習を自然言語から行う方法を示した。

関連論文リスト

• Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu [53.437954702561065]
  In-context machine translation (MT) with large language model (LLMs) は低リソースMTにおいて有望な手法である。 本研究は,辞書,文法書,検索した並列例などの資源の種類が翻訳性能に与える影響を系統的に検討する。 結果から,良質な辞書や優れた並列例は有用であり,文法はほとんど役に立たないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T14:53:49Z)
• Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。