論文の概要: Neural Coherence : Find higher performance to out-of-distribution tasks from few samples

• arxiv url: http://arxiv.org/abs/2512.05880v1
• Date: Fri, 05 Dec 2025 16:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-13 22:40:57.108954
• Title: Neural Coherence : Find higher performance to out-of-distribution tasks from few samples
• Title（参考訳）: ニューラルコヒーレンス
• Authors: Simon Guiroy, Mats Richter, Sarath Chandar, Christopher Pal,
• Abstract要約: 本研究は,対象タスクからラベル付けされていないいくつかの例で確実に動作するモデル選択のための新しいアプローチを提案する。 我々は、ImageNet1K上でモデルが事前トレーニングされる実験を行い、Food-101、PlandNet-300K、iNaturalistからなるターゲットドメインを調べる。 提案手法は, 確立されたベースラインに比べて, これらの異なる対象領域間の一般化を著しく改善する。
• 参考スコア（独自算出の注目度）: 22.92306176087978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To create state-of-the-art models for many downstream tasks, it has become common practice to fine-tune a pre-trained large vision model. However, it remains an open question of how to best determine which of the many possible model checkpoints resulting from a large training run to use as the starting point. This becomes especially important when data for the target task of interest is scarce, unlabeled and out-of-distribution. In such scenarios, common methods relying on in-distribution validation data become unreliable or inapplicable. This work proposes a novel approach for model selection that operates reliably on just a few unlabeled examples from the target task. Our approach is based on a novel concept: Neural Coherence, which entails characterizing a model's activation statistics for source and target domains, allowing one to define model selection methods with high data-efficiency. We provide experiments where models are pre-trained on ImageNet1K and examine target domains consisting of Food-101, PlantNet-300K and iNaturalist. We also evaluate it in many meta-learning settings. Our approach significantly improves generalization across these different target domains compared to established baselines. We further demonstrate the versatility of Neural Coherence as a powerful principle by showing its effectiveness in training data selection.
• Abstract（参考訳）: 多くの下流タスクのための最先端モデルを作成するために、事前訓練された大きな視覚モデルを微調整することが一般的になっている。 しかしながら、大規模なトレーニング実行から得られる多くのモデルチェックポイントのうち、どれを出発点として使用するのかを、どのように判断するかについては、まだ明らかな疑問が残る。 これは、対象とするタスクのデータが不足し、ラベルが付けられておらず、配布外である場合に特に重要になる。 このようなシナリオでは、分散検証データに依存する一般的なメソッドは信頼できないか、適用不能になる。 本研究は,対象タスクからラベル付けされていないいくつかの例で確実に動作するモデル選択のための新しいアプローチを提案する。 我々のアプローチはニューラルコヒーレンス(Neural Coherence)という新しい概念に基づいている。これは、ソースドメインとターゲットドメインのモデルのアクティベーション統計を特徴付けるもので、高いデータ効率でモデル選択方法を定義することができる。 我々は、ImageNet1K上でモデルが事前トレーニングされる実験を行い、Food-101、PlandNet-300K、iNaturalistからなるターゲットドメインを調べる。 また,多くのメタ学習環境において評価を行った。 提案手法は, 確立されたベースラインに比べて, これらの異なる対象領域間の一般化を著しく改善する。 さらに、トレーニングデータ選択の有効性を示すことによって、ニューラルネットワークの汎用性を強力な原理として示す。

関連論文リスト

• Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs [18.242110417706]
  この研究は、膨大なラベルのないオープンデータから事前訓練された言語モデルへの活用と選択に焦点を当てている。 特定の条件下での微調整タスクに対するこのアプローチの最適性を示す。 提案手法は既存の手法よりもはるかに高速で,GPU時間内に数百万のサンプルにスケールアップする。
  論文  参考訳（メタデータ） (2024-05-05T00:08:00Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Distilling from Similar Tasks for Transfer Learning on a Budget [38.998980344852846]
  転送学習は、ラベルの少ないトレーニングに有効なソリューションであるが、大きなベースモデルの計算的にコストのかかる微調整を犠牲にすることがしばしばある。 本稿では,半教師付きクロスドメイン蒸留による計算と精度のトレードオフを軽減することを提案する。 我々の手法は、ソースデータにアクセスする必要はなく、単にソースモデルの機能や擬似ラベルが必要なだけである。
  論文  参考訳（メタデータ） (2023-04-24T17:59:01Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Frugal Reinforcement-based Active Learning [12.18340575383456]
  本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。 提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。 また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
  論文  参考訳（メタデータ） (2022-12-09T14:17:45Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Few-shot Weakly-Supervised Object Detection via Directional Statistics [55.97230224399744]
  少数ショットコモンオブジェクトローカライゼーション(COL)と少数ショット弱監視オブジェクト検出(WSOD)のための確率論的多重インスタンス学習手法を提案する。 本モデルでは,新しいオブジェクトの分布を同時に学習し,期待-最大化ステップにより局所化する。 提案手法は, 単純であるにもかかわらず, 少数のCOLとWSOD, 大規模WSODタスクにおいて, 高いベースラインを達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-25T22:34:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。