論文の概要: When Thoughts Become Memory: Unifying In-Context Learning and Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.29419v1
• Date: Wed, 21 Oct 2026 08:44:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.292946
• Title: When Thoughts Become Memory: Unifying In-Context Learning and Fine-Tuning
• Title（参考訳）: 思考が記憶される時 - 文脈学習と微調整を統一する
• Abstract要約: 私たちは、未確認データが事前訓練されたモデルのコンテキストに属しているか、あるいはその重みに属しているかについて、初めて認定されたルールを与えます。 法則の天井は1つの測定値から選択を認証し、任意の有能なテストは保持されたクエリから選択する。 このテストでは、XGBoost上でTabPFNを拾い、空気圧に関するコンテキスト内学習者に対して訓練された代理を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We are the first to give a certified rule for whether unseen data belong in a pretrained model's context or its weights, built on an exact law for their information value. That value, the code length saved on held-out queries, equals in expectation the bits stored about the query, plus a prior repair, minus a decoding loss, for any model, architecture, dataset and task. The law's ceilings certify the choice from one measurement, and an anytime-valid test makes it from held-out queries, with error controlled whenever it stops. Every certificate the ceilings issue on a trained transformer, TabPFN, an occupancy network and a stereo network is correct. The test picks TabPFN over XGBoost and a trained surrogate over an in-context learner on airfoil pressure, calls the better of GPT-2's cache and fine-tune in 61,948 of 64,000 query streams over 32 comparisons, and errs in at most 3.3% of null streams. The law also diagnoses when learning in context helps and when it does not. Deleting part of a context is held-out validation of that part in any model, and adding parts one at a time traces the learning curve in context: one patch that sees a shape feature cuts an occupancy network's code length there a hundredfold, while eight that miss it nearly double it, and one camera that sees the surface beats four in a stereo network. Ranked by this label-free valuation, a kriging learner's three best support cars beat four drawn at random, and on a yes-or-no claim the valuation recovers a published evidence adjudicator, with AUROC 0.91.
• Abstract（参考訳）: 私たちは、未確認データが事前訓練されたモデルのコンテキストに属しているか、あるいはその情報値の正確な法則に基づいて構築されているかについて、認定されたルールを最初に提供します。 その値、保持されたクエリに保存されるコードの長さは、クエリに格納されたビットの期待値に等しく、事前の修正に加えて、任意のモデル、アーキテクチャ、データセット、タスクのデコード損失を減らします。 法則の天井は1つの測定値から選択を認証し、任意の有意なテストは保持されたクエリから行う。 トレーニングされたトランス、TabPFN、占有ネットワーク、ステレオネットワークの天井問題はすべて正しい。 このテストでは、XGBoost上でTabPFNを選択し、翼圧力でコンテキスト内学習者に対して訓練されたサロゲートを行い、32の比較で64,000のクエリストリームのうち61,948のGPT-2のキャッシュと微調整を、少なくとも3.3%のヌルストリームでerrsに改善した。 この法はまた、文脈での学習が役に立ち、そうでないときにも診断する。 任意のモデルにおいて、コンテキストの一部を削除することは、そのモデルのその部分の検証を保留し、一度に1つのパーツを追加すると、学習曲線を文脈でトレースする: 形状の特徴を見る1つのパッチは、占有ネットワークのコード長を100倍に削減し、8つのパッチは、ほぼ2倍に減らし、1つのカメラはステレオネットワークで4倍になる。 このラベルなしのバリュエーションによってランク付けされ、学習者の3つのベストサポートカーがランダムに描画された4台を破り、AUROC 0.91と共に、そのバリュエーションは公表されたエビデンスを回復する。

関連論文リスト

• Verifier-Grounded Agentic RL for Provably Correct Code [20.989739880402407]
  私たちはエージェント環境を構築し、その両方に報酬を与えます。 報酬は、検証者の判断よりも、検証者の診断を読み取って、それが排出する証明義務の重み付けされた部分によって候補を採点する。 整合性監査は検証を上回り、仕様を変更したり、それを証明しようとすると仮定する候補を拒絶する。
  論文  参考訳（メタデータ） (2026-10-13T23:17:25Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• In-Cell Learning: Deployed Language Models Can Learn New Knowledge Without Changing a Single Stored Bit [4.726337413307433]
  4ビットのリリースでは、各重みを整数コードと共有スケールとして格納し、格納された値の間に量子化器が捨てる間隔を残していることを示す。 私たちは、新しい知識をそのインターバルに書き込むパラダイムを、インセルラーニングと呼ぶ。 CellFillは、内部の低ランクの位置をベンダー自身の4ビットリリースでトレーニングすることで、構築によってパラダイムを実現する。
  論文  参考訳（メタデータ） (2026-08-21T08:49:07Z)
• Re-feeding Is Not Replaying: Measuring Replay Noise in Counterfactual Token-Credit Estimation [0.0]
  言語モデルのロールアウトにおいて、どのトークンが最終回答が正しいか間違っているかを尋ねる。 我々は、この仮定がストック推論エンジンのコストを3パスの設計で測定する。 6つの構成と3つのモデルにまたがって、リフィーディングはレプリカフロアよりも14-28ポイント高いレートでクレジットの見積もりを変更する。
  論文  参考訳（メタデータ） (2026-06-14T06:09:16Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Stable Mean Teacher for Semi-supervised Video Action Detection [3.5743998666556855]
  我々は,映像行動検出のための半教師付き学習に焦点を当てた。 改良された時間的に一貫した擬似ラベルの恩恵を受ける、シンプルなエンドツーエンドの教師ベースのフレームワークである安定平均教師を紹介する。
  論文  参考訳（メタデータ） (2024-12-10T00:25:33Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks [75.46678178805382]
  emphdata中毒攻撃では、攻撃者は学習した機械学習モデルを破損させるためにいくつかのトレーニング例を変更し、削除し、または挿入する。 データ中毒攻撃に対するバッグングの本質的確固たる堅牢性を証明する。 本手法は, 任意の修正, 削除, 挿入を行う場合, MNIST 上で 911.1% の精度を達成している。
  論文  参考訳（メタデータ） (2020-08-11T03:12:42Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。