論文の概要: Context-Adaptive Inference: A Unified Statistical and Foundation-Model View
- arxiv url: http://arxiv.org/abs/2607.23304v1
- Date: Sat, 25 Jul 2026 17:33:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.056012
- Title: Context-Adaptive Inference: A Unified Statistical and Foundation-Model View
- Title（参考訳）: コンテキスト適応推論: 統一統計モデルと基礎モデル
- Abstract要約: この記事では、通常は別々に扱われる3つの伝統にまたがる文脈適応推論の統一的な見解を提供する。
入力とコンテキストの結合特性において,明示的パラメータ適応と暗黙的ルーティングがカーネルリッジ回帰と数学的に等価であることを証明した。
- 参考スコア（独自算出の注目度）: 41.96234418682198
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern predictive systems are expected to adapt their behavior to the specific situation they are facing. A clinical model should not treat every patient the same; a retrieval-augmented model should change its answer when given different evidence; a mixture-of-experts model should route different inputs to different experts. We call this capability context-adaptive inference: before predicting, the system uses information about the current context to specialize its parameters or computation for that instance. This article provides a unified view of context-adaptive inference across three traditions that are usually treated separately: (i) explicit adaptation in statistics (e.g. varying-coefficient models, local regression, hierarchical sharing), (ii) rapid task-specific adaptation in meta-learning and transfer, and (iii) implicit adaptation in large foundation models via prompting, retrieval, and expert routing. We formalize these approaches under a common objective: to map context $c$ to adapted parameters $θ(c)$, then to predict via $f(x; θ(c))$. Under squared loss, linear prediction heads, and fixed features, we prove that explicit parameter adaptation and implicit routing are mathematically equivalent to kernel ridge regression on joint features of inputs and context. Building on this bridge, we propose practical design principles and evaluation metrics including adaptation-efficiency, routing stability, and context-specific robustness to guide when to specialize, how to constrain that specialization, and how to audit context-adaptive models in deployment. Finally, we identify open problems in identifiability, robustness under distribution shift, and efficient large-scale adaptation, outlining design principles for methods that are scalable, reliable, and transparent in real-world settings.
- Abstract（参考訳）: 現代の予測システムは、その行動が直面している特定の状況に適応することが期待されている。
臨床モデルは、すべての患者を同一に扱うべきではない; 検索強化モデルは、異なる証拠を与えられたときに、その答えを変えるべきである; 専門家の混合モデルは、異なる専門家に異なる入力をルーティングすべきである。
予測の前に、システムは現在のコンテキストに関する情報を使用して、そのインスタンスのパラメータや計算を専門化します。
この記事では、通常別々に扱われる3つの伝統にまたがる文脈適応推論の統一的な見解を提供する。
(i)統計学における明示的な適応(例えば、変動係数モデル、局所回帰、階層的共有)
二 メタラーニング及びトランスファーにおける素早いタスク特化、及び
3) プロンプト,検索,エキスパートルーティングによる大規模基盤モデルへの暗黙の適応。
コンテクスト$c$を適応パラメータ$θ(c)$にマッピングし、$f(x; θ(c))$を介して予測する。
正方形損失、線形予測ヘッド、固定特徴の下では、明示的パラメータ適応と暗黙的ルーティングは、入力とコンテキストの結合特性におけるカーネルリッジ回帰と数学的に等価であることを示す。
本稿では,適応効率,ルーティング安定性,コンテキスト固有のロバスト性など,実用的な設計原則と評価指標を提案し,いつ専門化するか,その専門化の抑制方法,デプロイメントにおけるコンテキスト適応モデルの評価方法について検討する。
最後に,分散シフト下での識別可能性,ロバスト性,大規模適応性といったオープンな問題を特定し,スケーラブルで信頼性が高く,現実の環境で透過的な手法の設計原則を概説する。
関連論文リスト
- Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。
このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。
多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
論文 参考訳（メタデータ） (2026-05-28T13:26:53Z) - Likelihood-guided Regularization in Attention Based Models [1.561268797057701]
視覚変換器(ViTs)のための確率誘導型変分型Ising型正規化フレームワークを提案する。
そこで,Ising正則化器は,不確実性を考慮した注意機構を通じて,精度の高い確率推定と構造的特徴選択を導出することを示す。
論文 参考訳（メタデータ） (2025-11-17T10:38:09Z) - Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。
本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。
残る技術的課題や倫理的考察も分析する。
論文 参考訳（メタデータ） (2025-06-05T05:42:27Z) - Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳（メタデータ） (2025-02-11T19:24:09Z) - Amortized In-Context Bayesian Posterior Estimation [15.714462115687096]
償却は条件付き推定を通じて、そのような困難を和らげるための実行可能な戦略である。
本研究では,アモルト化インコンテクストベイズ推定手法の徹底的な比較分析を行う。
本稿では,予測問題に対する逆KL推定器の優位性,特に変圧器アーキテクチャと正規化フローを併用した場合に強調する。
論文 参考訳（メタデータ） (2025-02-10T16:00:48Z) - Adaptive Conformal Inference by Betting [51.272991377903274]
データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。
適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。
本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
論文 参考訳（メタデータ） (2024-12-26T18:42:08Z) - Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
セマンティックセグメンテーションのための自己適応型アプローチを提案する。
整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。
実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
論文 参考訳（メタデータ） (2022-08-10T12:29:01Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Learning Neural Models for Natural Language Processing in the Face of
Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。
データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。
この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。
データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文 参考訳（メタデータ） (2021-09-03T14:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。