論文の概要: Counterfactual Test-Time Augmentation for Shortcut Removal in Language Models

• arxiv url: http://arxiv.org/abs/2610.33904v1
• Date: Sat, 24 Oct 2026 20:30:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.47995
• Title: Counterfactual Test-Time Augmentation for Shortcut Removal in Language Models
• Title（参考訳）: 言語モデルにおけるショートカット除去のための実測テスト時間拡張
• Abstract要約: 大規模言語モデル(LLM)はショートカット、すなわち、テスト時に保持されないかもしれないトレーニングデータに存在している相関を利用することができる。 既存のショートカットを削除するソリューションのほとんどは、トレーニング時に動作し、ラベル付きトレーニングデータ、モデルウェイトアクセス、重要な計算リソースを必要とする。 提案手法は,例えば,各手法が補助モデルを用いて,ショートカット値を変更した逆ファクトリアル編集を生成する手法である。 我々は、最適なショートカット不変予測器がこのCTTAファミリーの一員であることを証明し、その重みを特徴付ける。
• 参考スコア（独自算出の注目度）: 9.665419849727517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can exploit shortcuts, i.e., correlations present in training data that may not hold at test time. This can lead to poor predictions when correlations shift. Most existing solutions for removing shortcuts operate at training time, requiring labeled training data, model weight access, and significant computational resources. Here, we study the problem of test-time shortcut removal. We propose a family of counterfactual test-time augmentation (CTTA) methods: given an example, each method uses an auxiliary model to generate counterfactual edits in which the shortcut value is changed, and then takes a weighted average of the LLM's predictions across these edits. We prove that the optimal shortcut-invariant predictor is a member of this CTTA family, and we characterize its weights. The weights depend on the training distribution, and therefore are, in general, not identifiable from the trained model and unlabeled test data. However, we present assumptions under which the weights can be obtained using the token probabilities of the trained LLM, and propose tests to detect violations of these assumptions. We use these tests to develop Select-CTTA, an aggregate method that selects among CTTA methods. Empirically, we find that Select-CTTA outperforms test-time baselines and approaches the performance of models fine-tuned on shortcut-balanced data.
• Abstract（参考訳）: 大規模言語モデル(LLM)はショートカット、すなわち、テスト時に保持されないかもしれないトレーニングデータに存在している相関を利用することができる。 これは相関がシフトする際の予測不良につながる可能性がある。 既存のショートカットを削除するソリューションのほとんどは、トレーニング時に動作し、ラベル付きトレーニングデータ、モデルウェイトアクセス、重要な計算リソースを必要とする。 本稿では,テストタイムのショートカット除去の問題について検討する。 提案手法は,例えば,各手法が補助モデルを用いて,ショートカット値を変更した反ファクトリアルな編集を生成し,それらの編集に対してLLMの予測を重み付けした平均値を取る手法である。 我々は,最適なショートカット不変予測器がCTTAファミリーの一員であることを証明し,その重みを特徴付ける。 重量はトレーニング分布に依存するため、一般に、トレーニングされたモデルとラベルなしのテストデータから識別できない。 しかし,LLMのトークン確率を用いて重みを推定できる仮定を提案し,これらの仮定の違反を検出するための試験を提案する。 我々はこれらのテストを用いて,CTTA法の中から選択する集約手法であるSelect-CTTAを開発した。 実験により,Select-CTTAはテスト時間ベースラインを上回り,ショートカットバランスデータに基づいて微調整されたモデルの性能にアプローチすることがわかった。

関連論文リスト

• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• Exploring Human-in-the-Loop Test-Time Adaptation by Synergizing Active Learning and Model Selection [40.06196132637536]
  既存のテスト時間適応(TTA)アプローチは、ラベルのないテストデータストリームでモデルに適応することが多い。 能動的学習とモデル選択を相乗化してHILTTAにアプローチすることを提案する。 提案手法は市販のTTA手法と互換性があることを5つのTTAデータセットで示す。
  論文  参考訳（メタデータ） (2024-05-29T09:13:30Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
  テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。 TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
  テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。 PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。 本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-12-19T18:42:19Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。