論文の概要: When Should We Intervene at Test Time?

• arxiv url: http://arxiv.org/abs/2610.37658v1
• Date: Tue, 27 Oct 2026 17:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.743657
• Title: When Should We Intervene at Test Time?
• Title（参考訳）: テスト時間はいつ介入すべきか?
• Abstract要約: テスト時の適応は、モデルが入力の変更に応答するのに役立つが、同じ介入が1つのバッチを救い、次のバッチを損傷させる。 平均的精度はこれらの失敗を隠蔽し、介入のタイミングをモデルに知らせることができない。 我々は、介入をいつ展開するか、ラベルを入力し、いつクエリを停止するかを選択するコントローラである Portalを紹介した。
• 参考スコア（独自算出の注目度）: 6.764319778013278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation helps a deployed model respond to changing inputs, but the same intervention can rescue one batch and damage the next. Updating normalization statistics, for example, can improve corrupted images yet fail when a batch contains mostly one class. Average accuracy hides these failures and cannot tell a model when to use an intervention. Target labels can guide this decision, but they are scarce and some choices are already clear. We introduce PORTAL, a controller that chooses when to deploy an intervention, which inputs to label, and when to stop querying. Each available prediction rule is a candidate, and its predictions are fixed before current feedback arrives. Every acquired label therefore evaluates all candidates on the same input. PORTAL combines these shared comparisons and directs queries toward candidates that can still overtake the current leader. It stops when the remaining labels cannot change the choice or when the possible accuracy gain no longer justifies another query. Our analysis links the required feedback to accuracy gaps and shared mistakes, explaining why some choices need much less evidence. Experiments show that this control turns an intervention that loses accuracy overall into a useful choice on selected batches. It prevents severe failures caused by changes in arrival order and preserves gains across complete corruption streams. When a fixed rule already works well, PORTAL uses little feedback to retain its performance. Periodic label checks reveal when past evidence needs refreshing and help the controller recover as conditions change. The acquired labels also train stronger candidates for future batches, and selection brings nearly all of their accuracy gains into deployment. The same feedback therefore improves both the choice made now and the predictions available to later batches.
• Abstract（参考訳）: テスト時の適応は、デプロイされたモデルが入力の変更に応答するのに役立つが、同じ介入が1つのバッチを救い、次にダメージを与える可能性がある。 例えば、正規化統計の更新は、大半が1つのクラスを含むバッチでは失敗するが、劣化したイメージを改善することができる。 平均的精度はこれらの失敗を隠蔽し、介入のタイミングをモデルに知らせることができない。 ターゲットラベルはこの決定を導くことができるが、それらはほとんどなく、いくつかの選択肢はすでに明確である。 我々は、介入をいつ展開するか、ラベルを入力し、いつクエリを停止するかを選択するコントローラである Portalを紹介した。 各利用可能な予測ルールは候補であり、その予測は現在のフィードバックが到着する前に修正される。 したがって、取得したラベルはすべての候補を同じ入力で評価する。 Portalはこれらの共有比較を組み合わせることで、現在のリーダを追い越せる候補にクエリを指示する。 残りのラベルが選択を変更できない場合や、可能な精度の取得が他のクエリを正当化しない場合に停止する。 私たちの分析では、必要なフィードバックを精度のギャップと共有の誤りに関連付け、いくつかの選択肢がより少ない証拠を必要とする理由を説明しています。 実験により、この制御は、全体的な精度を損なう介入を、選択したバッチで有用な選択へと変えることが示された。 到着順の変化による深刻な障害を防止し、完全な汚職ストリーム全体の利益を維持する。 固定ルールがすでにうまく機能している場合、Portalはパフォーマンスを維持するためにほとんどフィードバックを使用しません。 定期的なラベルチェックは、過去の証拠がいつリフレッシュする必要があるかを明らかにし、状況が変わるとコントローラが回復するのに役立つ。 買収されたラベルは、将来のバッチのより強力な候補を訓練する。 したがって、同じフィードバックによって、現在選択されているものと、後のバッチで利用可能な予測の両方が改善される。

関連論文リスト

• Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence [5.331469232678577]
  信頼性フレームワークであるRADAR(Repair, Adopt, and Diagnose After Recalibration)を紹介します。 RADARは、スカラースコアが表現できることを修復し、エビデンスによってサポートされた場合にのみ修復を採用し、リカバリが残した系統的なエラーを診断する、原則化されたワークフローを提供する。
  論文  参考訳（メタデータ） (2026-10-15T16:12:29Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• Decodable In-Context State and Model Output Across Training [0.0]
  以前の研究は、プローブがモデルエラーのコンテキスト内バインディングをデコードし、プローブ誘導ステアリングがそれらのいくつかを修復できることを確立していた。 我々は,プローブの精度,モデル出力,および公開事前学習および後チェックポイント間のステアリング応答を追従する。
  論文  参考訳（メタデータ） (2026-09-25T15:25:38Z)
• When is Test-Time Adaptation Identifiable From Unlabeled Evidence? [2.6652065637846074]
  テスト時適応(TTA)は、ラベルなしでデプロイされたモデルを更新する多くの方法を提供する。 最近の手法では、ラベルのないテストデータからどの適応が動作するかを予測する。 完全なセレクタであっても、これは保証されていません。
  論文  参考訳（メタデータ） (2026-09-10T08:35:06Z)
• Lottery Tickets Are Not Deployment Tickets [4.230349220081444]
  我々は、下流決定論理を再構成することなく、精度に適合した宝くじ券または他のスパースチャレンジャーが、既存の高密度モデルを置き換えることができるかどうかを検討する。 実験全体を通して、スパース候補は繰り返し密度参照精度を回復するが、行動学的に異なるままである。 固定閾値ポリシー診断を備えた小さなギャップ設定では、宝くじの交換は受け入れレビュー決定の7%から10%に変化する。
  論文  参考訳（メタデータ） (2026-07-29T15:25:19Z)
• Anytime-Valid Confirmation of Label-Shift Corrections [0.6599344783327052]
  小規模の科学的展開では、ラベル付けされた目標結果が、信頼できるシフト推定には不足している可能性がある。 本研究では,ラベルシフト補正予測とソース予測との観測確率比が条件付きe値であることを示す。
  論文  参考訳（メタデータ） (2026-06-12T02:03:21Z)
• Practical estimation of the optimal classification error with soft labels and calibration [47.001801756596926]
  我々は,ベイズ誤差,最適誤差率を推定するために,ソフトラベルを用いた以前の研究を拡張した。 我々は、破損したソフトラベルによる推定という、より困難な問題に取り組みます。 私たちのメソッドはインスタンスフリーです。つまり、入力インスタンスへのアクセスを前提としません。
  論文  参考訳（メタデータ） (2025-05-27T06:04:57Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。