論文の概要: Compiling Learning Problems into Adaptation Programs for Language Models

• arxiv url: http://arxiv.org/abs/2609.37371v1
• Date: Tue, 29 Sep 2026 12:27:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.482735
• Title: Compiling Learning Problems into Adaptation Programs for Language Models
• Title（参考訳）: 言語モデルへの適応プログラムへの学習問題のコンパイル
• Abstract要約: 適応コンパイルを導入し、モデルがどのように、どのように、どのように、どの程度、共同予測と決定の問題として適応すべきかを再設定する。 本研究では,適応探索が関連する学習問題にまたがって改善できることを示し,事前適応経験を将来の学習方法を決定する基盤にすることを提案する。
• 参考スコア（独自算出の注目度）: 1.4824891788575416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model adaptation is typically governed by a fixed recipe, even though different update programs can produce substantially different behavioral outcomes. We introduce adaptation compilation, which reframes where, how, and to what extent a model should adapt as a joint prediction and decision problem. Rather than searching over candidate programs anew for each learning episode, a compiler learns from prior adaptations to predict a vector-valued counterfactual response surface over candidate programs---their expected effects on acquisition, transfer, boundedness, and preservation---and selects a program before adaptation begins. Because this predicted geometry captures multiple behavioral consequences rather than a single winner or scalar score, it can be reused under different downstream priorities without retraining. Across five learning types, preferred programs vary meaningfully across episodes, and this variation is predictable from pre-adaptation information. On Llama-3.1-8B, compiler-selected programs approach exhaustive search while outperforming global and objective-specific defaults. Replication on Gemma-2-9B preserves program heterogeneity and selection headroom, but shows that exploiting this headroom requires accounting for uncertainty when departing from strong defaults. Together, these results show that adaptation search can be amortized across related learning problems, turning prior adaptation experience into a basis for deciding how future learning should occur.
• Abstract（参考訳）: モデル適応は通常、異なる更新プログラムが実質的に異なる行動結果をもたらすとしても、固定されたレシピによって管理される。 適応コンパイルを導入し、モデルがどのように、どのように、どのように、どの程度、共同予測と決定の問題として適応すべきかを再設定する。 学習エピソードごとに新しい候補プログラムを探す代わりに、コンパイラは事前の適応から学習し、候補プログラムよりもベクトル値の反事実応答面を予測する。 この予測幾何は、単一の勝者やスカラースコアではなく、複数の振る舞いの結果をキャプチャするので、再トレーニングすることなく、異なる下流優先順位の下で再利用することができる。 5つの学習タイプにまたがって、好みのプログラムはエピソード毎に有意に変化し、この変異は事前適応情報から予測可能である。 Llama-3.1-8Bでは、コンパイラ選択プログラムが全検索にアプローチし、グローバルおよび客観的なデフォルトを上回ります。 Gemma-2-9Bの複製は、プログラムの不均一性と選択のヘッドルームを保存するが、このヘッドルームを利用するには、強いデフォルトから離れたときに不確実性を考慮する必要があることを示す。 これらの結果から,適応探索は関連する学習課題にまたがって改善可能であり,事前適応経験を将来の学習方法を決定するための基盤となることが示唆された。

関連論文リスト

• To Adapt or Not to Adapt? Selective Adaptation for Vision-Language Models [50.94061118407214]
  テスト時適応(TTA)は、推論中の分布シフトに視覚言語モデルを適用するための顕著な戦略として現れている。 適応前後のモデル予測をサンプル単位で解析し、既存のTTA手法で2つの障害モードを観測する。 選択適応という新たな問題を導入し、与えられたテストサンプルを適応させるべきか、スキップすべきかを判断することを目的とする。
  論文  参考訳（メタデータ） (2026-09-08T07:35:45Z)
• Probably Approximately Precision and Recall Learning [60.00180898830079]
  機械学習における重要な課題は、一方的なフィードバックの頻度である。 本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。 我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Adaptive scheduling for adaptive sampling in POS taggers construction [0.27624021966289597]
  音声タグ作成における機械学習の新たな手法として適応的サンプリングのための適応的スケジューリングを提案する。 本研究では,関数モデルとともに幾何学的に学習曲線の形状を分析し,任意のタイミングで学習曲線を増減する。 また,評価の一時的なインフレーションを受けるトレーニングデータベースの領域に注意を払い,サンプリングの堅牢性も向上する。
  論文  参考訳（メタデータ） (2024-02-04T15:02:17Z)
• Experiment Planning with Function Approximation [49.50254688629728]
  本研究では,文脈的帯域幅問題における関数近似を用いた実験計画の問題点について検討する。 本稿では,関数近似に適合する2つの実験計画戦略を提案する。 そこで, 均一サンプリング器は, 動作数が少ない設定において, 競合最適性を達成できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T14:40:23Z)
• Meta-Auxiliary Learning for Adaptive Human Pose Prediction [26.877194503491072]
  高忠実な未来の人間のポーズを予測することは、インテリジェントロボットが人間と対話する上で決定的だ。 ディープラーニングアプローチは、通常、外部データセット上で一般的なトレーニング済みモデルをトレーニングし、すべてのテストサンプルに直接適用する。 本稿では,2つの自己監督型補助タスクを活用するテスト時間適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-13T11:17:09Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
  そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。 自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。 提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
  論文  参考訳（メタデータ） (2022-05-28T03:31:07Z)
• Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
  非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。 我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。 これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-21T13:18:11Z)
• $k$-Neighbor Based Curriculum Sampling for Sequence Prediction [22.631763991832862]
  言語モデルにおける多段階予測は、トレーニングとテスト時間プロセスの相違により困難である。 教師方針を段階的に変更するカリキュラム学習に基づく手法であるtextitNearest-Neighbor Replacement Samplingを提案する。 本研究では, 2つの言語モデリングベンチマークについて報告し, スケジュールされたサンプリングと併用することで, 性能をさらに向上させる方法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T20:07:29Z)
• A framework for predicting, interpreting, and improving Learning Outcomes [0.0]
  本研究では,学生の観察的,行動的,受験的特徴に基づいて,テストスコアを予測するEmbibe Score Quotient Model(ESQ)を開発した。 ESQは、学生の将来的な採点可能性の予測や、個別の学習ナッジの提供に使用することができる。
  論文  参考訳（メタデータ） (2020-10-06T11:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。