論文の概要: Hedging on the Frontier: Learning New Tasks with Few Samples

• arxiv url: http://arxiv.org/abs/2605.30997v1
• Date: Fri, 29 May 2026 08:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.473463
• Title: Hedging on the Frontier: Learning New Tasks with Few Samples
• Title（参考訳）: 最前線に迫る - サンプルが少ない新しいタスクを学ぶ
• Abstract要約: 経験的に、弱い単調性はしばしばほぼ満足している。 モノトニック性に基づくモデルクラスを創出できるだけでなく、フロンティアをヘッジすることで利用可能なトレードオフの幾何学にもさらに適応できることを示す。
• 参考スコア（独自算出の注目度）: 11.745953914883769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a learner faces a new task with few samples, it must leverage any available side information. In practice, this often comes in the form of model evaluations on related tasks in public benchmarks. A key question then is how to model task relatedness such that it is both realistic and the benchmark evaluations lead to provable gains. Empirically, we observe that weak monotonicity is often approximately satisfied: if a model dominates another on many benchmarks, it also tends to outperform on the new task. We explore the statistical complexity of learning under (approximate) weak monotonicity, leveraging it within two learning paradigms: transfer learning and model selection aggregation. We show that not only can we prune the model class based on monotonicity, but we can also further adapt to the geometry of the available trade-offs by hedging on the frontier.
• Abstract（参考訳）: 学習者がサンプルが少ない新しいタスクに直面した場合、利用可能なサイド情報を利用する必要がある。 実際には、これはしばしば、公開ベンチマークにおける関連するタスクに関するモデル評価の形で行われる。 重要な疑問は、それが現実的であり、ベンチマーク評価が証明可能な利益をもたらすように、タスク関連性をモデル化する方法である。 経験的に、弱い単調性はしばしばほぼ満足している:モデルが多くのベンチマークで他のものを支配している場合、新しいタスクよりも優れる傾向がある。 本研究は,移動学習とモデル選択集約という2つの学習パラダイムにおいて,弱い単調性の下での学習の統計的複雑さを考察する。 モノトニック性に基づくモデルクラスを創出できるだけでなく、フロンティアをヘッジすることで利用可能なトレードオフの幾何学にもさらに適応できることを示す。

関連論文リスト

• Reasoning with Sampling: Your Base Model is Smarter Than You Think [52.639108524651846]
  本稿では,基本モデル自身の可能性を利用した単純な反復サンプリングアルゴリズムを提案する。 我々のアルゴリズムは、ほぼ一致し、RLのアルゴリズムよりも優れているという推論において、大幅に向上することを示した。 我々の方法は、トレーニング、キュレートされたデータセット、検証器を必要としない。
  論文  参考訳（メタデータ） (2025-10-16T17:18:11Z)
• Self-Improving LLM Agents at Test-Time [49.9396634315896]
  言語モデル(LM)の1つのパラダイムは、大規模なトレーニングデータセットの作成に依存している。 実際には、大量のデータを集めることは非効率であり、それらのトレーニングは違法に高価である。 テスト時間自己改善(TT-SI)とテスト時間蒸留(TT-D)の2つのバリエーションについて検討する。
  論文  参考訳（メタデータ） (2025-10-09T06:37:35Z)
• Small Models, Smarter Learning: The Power of Joint Task Training [23.91574901740084]
  本研究では,ネストした数学的操作からなるListOpsデータセットに着目した。 我々は和 modulo n が最も学習が難しいことを観察する。 ジョイントトレーニングは,パフォーマンスの向上だけでなく,定性的に異なるモデル行動をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-05-23T20:56:37Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Temporal Test-Time Adaptation with State-Space Models [4.248760709042802]
  テストサンプルにモデルを適用することは、パフォーマンスの低下を軽減するのに役立ちます。 ほとんどの試験時間適応法は、合成汚職シフトに重点を置いている。 本稿では,時相分布シフトに対応する確率的状態空間モデルSTADを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:18:49Z)
• OLMES: A Standard for Language Model Evaluations [64.85905119836818]
  OLMESは、再現可能な言語モデル評価のための文書化された、実用的な、オープンな標準である。 これは、複数の質問の非自然的な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。 OLMESには、既存の文献の結果によってガイドされた、よく考えられたドキュメント化されたレコメンデーションと、オープンな質問を解決する新しい実験が含まれている。
  論文  参考訳（メタデータ） (2024-06-12T17:37:09Z)
• Negotiated Representations to Prevent Overfitting in Machine Learning Applications [0.0]
  オーバーフィッティング(Overfitting)は、機械学習モデルが長時間トレーニングされ、提供されたトレーニングラベルに対するトレーニングサンプルの正確な適合度に過度にフォーカスされた場合に発生する現象である。 本稿では,事前に決定されたクラスラベルを用いて,サンプルの出力表現を交渉可能にすることによって,機械学習モデルの分類精度を高める手法を提案する。
  論文  参考訳（メタデータ） (2023-11-19T19:53:49Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
  我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。 このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。 我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:49:47Z)
• Hardness of Samples Need to be Quantified for a Reliable Evaluation System: Exploring Potential Opportunities with a New Task [24.6240575061124]
  ベンチマーク上のモデルの評価は、サンプル硬さの程度を知らずに信頼性が低い。 我々は,0から1のスコアのベンチマークにおいて,各未注釈サンプルの割り当てを必要とするData Scoringタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-14T08:26:32Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Mixture of basis for interpretable continual learning with distribution shifts [1.6114012813668934]
  データ分散のシフトを伴う環境での継続的な学習は、いくつかの現実世界のアプリケーションでは難しい問題である。 本稿では,この問題設定に対処するために,ベイシモデル(MoB)の混合方式を提案する。
  論文  参考訳（メタデータ） (2022-01-05T22:53:15Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。