論文の概要: RepICL: Reusable In-Context Prediction Across Heterogeneous Representation Spaces

• arxiv url: http://arxiv.org/abs/2610.05852v1
• Date: Mon, 05 Oct 2026 06:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:46:27.982453
• Title: RepICL: Reusable In-Context Prediction Across Heterogeneous Representation Spaces
• Title（参考訳）: RepICL:不均一表現空間全体での再利用可能なインコンテキスト予測
• Abstract要約: 共有された数発の予測手順は、トレーニング中に観察される表現空間を超えて一般化可能であることを示す。 本稿では,メタ学習型インコンテキスト学習システムRepICLについて紹介する。
• 参考スコア（独自算出の注目度）: 3.2900793381608047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frozen representations are widely reused for downstream classification, yet each new task typically requires fitting a new predictor. We ask whether the few-shot prediction procedure itself can instead be learned once and reused across datasets and representation spaces. To study this question, we introduce RepShiftBench, comprising 1,218 encoder--dataset tasks across text, image, and audio, with separate evaluation of generalization to unseen datasets, unseen encoders, jointly unseen datasets and encoders, and unseen modalities. The benchmark exposes a substantial gap: Logistic Regression fitted independently on each episode outperforms every evaluated in-context learner across all settings. We introduce RepICL, a meta-trained in-context learner that canonicalizes each episode through episodic whitening before prediction. Its inductive variant, RepICL-I, surpasses Logistic Regression in all 12 benchmark settings, while RepICL-T substantially outperforms existing transductive methods. Ablations identify episodic whitening as the primary source of these gains, while showing that it is not a universally beneficial preprocessing step. Across both variants, the gains concentrate on queries for which simple support prototypes favor the wrong class or provide little separation between the true class and competing classes. Transduction provides its largest additional gains when limited support coverage gives a misleading view of class separation. Together, these results demonstrate that a shared few-shot prediction procedure can generalize beyond the representation spaces observed during training.
• Abstract（参考訳）: 凍結表現は下流の分類のために広く再利用されているが、それぞれの新しいタスクは一般的に新しい予測器を適合させる必要がある。 代わりに、数発の予測手順自体を一度学習し、データセットや表現空間をまたいで再利用できるかどうかを問う。 本研究では,テキスト,画像,音声にまたがる1,218のエンコーダ-データセットタスクからなるRepShiftBenchを紹介し,未確認のデータセット,未確認のエンコーダ,未確認のデータセットとエンコーダ,未確認のモダリティを個別に評価する。 それぞれのエピソードに独立して適合するロジスティック回帰は、すべての設定で評価されたインコンテキスト学習者よりも優れています。 本稿では,メタ学習型インコンテキスト学習システムRepICLについて紹介する。 インダクティブ版であるRepICL-Iはロジスティック回帰を12のベンチマーク設定で上回り、RepICL-Tは既存のトランスダクティブメソッドを大幅に上回っている。 アブレーションは、エピソードの白化をこれらの利得の主源としており、普遍的に有益な前処理ステップではないことを示している。 どちらの変種とも、単純なサポートプロトタイプが間違ったクラスを好むクエリや、真のクラスと競合するクラスをほとんど分離しないクエリに集中している。 限定的なサポートカバレッジがクラス分離の誤解を招く場合、Transductionは最大の追加利得を提供する。 これらの結果は、共有された数発の予測手順が、トレーニング中に観察される表現空間を超えて一般化できることを実証する。

関連論文リスト

• Probably Approximately Precision and Recall Learning [60.00180898830079]
  機械学習における重要な課題は、一方的なフィードバックの頻度である。 本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。 我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Exemplar-Free Class Incremental Learning via Incremental Representation [26.759108983223115]
  古い擬似機能を構築することなく, efCIL のためのtextbfsimple Incremental Representation (IR) フレームワークを提案する。 IRはデータセット拡張を利用して、適切な特徴空間をカバーし、単一のL2スペースメンテナンス損失を使用することでモデルを忘れないようにしている。
  論文  参考訳（メタデータ） (2024-03-24T16:29:50Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。