論文の概要: SIEVE: Sample-Efficient Parametric Learning from Natural Language

• arxiv url: http://arxiv.org/abs/2604.02339v1
• Date: Mon, 02 Feb 2026 18:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.297997
• Title: SIEVE: Sample-Efficient Parametric Learning from Natural Language
• Title（参考訳）: SIEVE: 自然言語からのサンプル有効パラメトリック学習
• Abstract要約: 本稿では,自然言語の文脈からサンプル効率の高いパラメトリック学習手法であるSIEVEを提案する。 我々は、コンテキストが分解可能であるという洞察を活用する新しい合成データ生成パイプライン、SIEVE-GENを使用する。 以上の結果から,SIEVEは従来の文脈蒸留法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 66.46967795931559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language context-such as instructions, knowledge, or feedback-contains rich signal for adapting language models. While in-context learning provides adaptation via the prompt, parametric learning persists into model weights and can improve performance further, though is data hungry and heavily relies on either high-quality traces or automated verifiers. We propose SIEVE, a method for sample-efficient parametric learning from natural language context that requires as few as three query examples. SIEVE uses a novel synthetic data generation pipeline, SIEVE-GEN, that leverages the insight that context is decomposable. Decomposing context allows us to generate higher quality rollouts by pairing synthetic queries with only the applicable context rather than the entirety, then using context distillation to internalize context into the model. We evaluate in reasoning settings where context is necessary, including custom domains and the RuleArena and Machine Translation from One Book tasks. Our results show that SIEVE outperforms prior context distillation methods using just three query examples, demonstrating how to achieve sample-efficient parametric learning from natural language.
• Abstract（参考訳）: 自然言語の文脈、例えば指示、知識、フィードバックは、言語モデルに適応するための豊かな信号を含む。 文脈内学習はプロンプトを介して適応するが、パラメトリック学習はモデルウェイトに留まり、さらにパフォーマンスを向上させることができる。 SIEVEは,3つのクエリサンプルを必要とする自然言語コンテキストから,サンプル効率のよいパラメトリック学習手法である。 SIEVEは、コンテキストが分解可能であるという洞察を活用する新しい合成データ生成パイプラインであるSIEVE-GENを使用している。 コンテキストを分解することで、合成クエリを全体ではなく、適用可能なコンテキストのみとペアリングし、コンテキスト蒸留を用いてコンテキストをモデルに内在化することで、高品質なロールアウトを生成することができる。 我々は、カスタムドメインやルールアリーナ、ワンブックタスクからの機械翻訳など、コンテキストが必要な推論設定で評価する。 以上の結果から,SIEVEは3つのクエリ例を用いて,従来の文脈蒸留法よりも優れた性能を示し,サンプル効率のよいパラメトリック学習を自然言語から行う方法を示した。

関連論文リスト

• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu [53.437954702561065]
  In-context machine translation (MT) with large language model (LLMs) は低リソースMTにおいて有望な手法である。 本研究は,辞書,文法書,検索した並列例などの資源の種類が翻訳性能に与える影響を系統的に検討する。 結果から,良質な辞書や優れた並列例は有用であり,文法はほとんど役に立たないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T14:53:49Z)
• A Reality Check on Context Utilisation for Retrieval-Augmented Generation [44.54803681476863]
  DRUID (Dataset of Retrieved Untrieved Unliable, Insufficient and Difficult-to-understand contexts) を導入し、実世界のクエリやコンテキストを手動でアノテートする。 このデータセットは、現実世界の証拠の自動検索が不可欠である自動クレーム検証のタスクに基づいている。 合成データセットは、実検索データで稀な文脈特性を誇張し、拡張された文脈利用結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-12-22T14:16:38Z)
• Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Improving Sentence Embeddings with Automatic Generation of Training Data Using Few-shot Examples [13.946626388239443]
  大規模な手書き注釈付きデータセットを使わずに文の埋め込みを改善することを目的としている。 数ショットの学習による自動データセット生成に注力し、数ショットの例を活用するための適切な方法を探る。
  論文  参考訳（メタデータ） (2024-02-23T06:33:51Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。