論文の概要: A Generalisation Signal Need Not Be a Model-Selection Signal

• arxiv url: http://arxiv.org/abs/2609.39099v1
• Date: Wed, 30 Sep 2026 06:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.291153
• Title: A Generalisation Signal Need Not Be a Model-Selection Signal
• Title（参考訳）: 一般化信号はモデル選択信号でなくてもよい
• Abstract要約: バリデーションがどのモデルが最良かをもはや保存しない場合、訓練されたネットワーク自体の特性を使って候補をランク付けする自然な方法がある。 我々は、このアイデアを、ヘッセンの規範に動機づけられた、前方のみのプロキシを使ってテストする。
• 参考スコア（独自算出の注目度）: 2.0803281566486955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model selection in computational biology often relies on validation data drawn from the training regime, even when deployment lies outside it. When validation no longer preserves which model is best, a natural alternative is to rank candidates using properties of the trained network itself. We test this idea using a novel, forward-only proxy motivated by the norm of the Hessian, alongside common Hessian measures, across molecular property, protein fitness, and drug-response tasks. Contrary to our hypothesis, geometry does not become more useful as validation Spearman correlation deteriorates: augmenting validation helps some shifts but significantly harms others. More surprisingly, the proxy still correlates with generalisation gap on most tasks even when Hessian trace and top-eigenvalue relationships are weak or reversed, yet this signal does not reliably identify the deployment-best model. A curvature bound need not preserve cross-model rankings, and low geometric scores can even favour collapsed predictors. Thus, a generalisation signal need not be a model-selection signal.
• Abstract（参考訳）: 計算生物学におけるモデル選択は、たとえその外に配置されたとしても、トレーニング体制から引き出された検証データに依存することが多い。 バリデーションがどのモデルが最良かをもはや保存しない場合、訓練されたネットワーク自体の特性を使って候補をランク付けする自然な方法がある。 我々は、分子特性、タンパク質の適合性、薬物応答性といった一般的なヘッセン測度とともに、ヘッセンの規範によって動機づけられた、新しいフォワードのみのプロキシを用いて、このアイデアをテストする。 私たちの仮説とは対照的に、スピアマン相関が劣化するにつれて幾何は役に立たない。 より驚くべきことに、プロキシはヘッセントレースとトップ固有値関係が弱かったり逆になったりしても、ほとんどのタスクの一般化ギャップと相関するが、このシグナルはデプロイメント-ベストモデルを確実に識別しない。 曲率境界はクロスモデルランキングを保存する必要はなく、低い幾何学的スコアは崩壊予測器を好むこともできる。 したがって、一般化信号はモデル選択信号である必要はない。

関連論文リスト

• No Universal Signal Predicts Sample-Level LLM Regression under Version Updates [2.6426981014417055]
  本稿では、推定時に利用可能な信号からそのような回帰を予測する方法について検討する。 実践者は、これらのタスクレベルのパターンを使用して、所定の更新に対して信頼するレグレッションシグナルを選択することができる。
  論文  参考訳（メタデータ） (2026-08-11T15:13:12Z)
• Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability [0.0]
  信頼できる言語モデルは、クエリが知識の外に落ちたときに、生成前に信号を送ることができるべきである。 我々は,表現幾何学が,応答可能な参照集合からの隠れ状態の偏差を測定することによって,そのような前世代信号を提供できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-05-04T22:24:34Z)
• ShortcutProbe: Probing Prediction Shortcuts for Learning Robust Models [26.544938760265136]
  ディープラーニングモデルは、必然的にターゲットと非本質的な特徴の間の急激な相関を学習する。 本稿では,グループラベルを必要とせず,新たなポストホックスプリアスバイアス緩和フレームワークを提案する。 我々のフレームワークであるShortcutProbeは、与えられたモデルの潜在空間における予測の非破壊性を反映した予測ショートカットを識別する。
  論文  参考訳（メタデータ） (2025-05-20T04:21:17Z)
• Look Beyond Bias with Entropic Adversarial Data Augmentation [4.893694715581673]
  ディープニューラルネットワークは、スパイラルパターンと因果パターンを区別せず、他を無視しながら最も予測的なパターンのみを学ぶ。 ネットワークをこのような刺激的なバイアスに頑健にするためにデバイアス法が開発されたが、データセットがバイアスを受けているかどうかを事前に知る必要がある。 本稿では,「隠された」因果情報がバイアス画像に含まれる場合が多いため,このようなサンプルは必ずしも必要ではない,と論じる。
  論文  参考訳（メタデータ） (2023-01-10T08:25:24Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。