論文の概要: A novel Information-Driven Strategy for Optimal Regression Assessment

• arxiv url: http://arxiv.org/abs/2510.14222v1
• Date: Thu, 16 Oct 2025 02:01:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.676215
• Title: A novel Information-Driven Strategy for Optimal Regression Assessment
• Title（参考訳）: 最適回帰評価のための新しい情報駆動戦略
• Authors: Benjamín Castro, Camilo Ramírez, Sebastián Espinosa, Jorge F. Silva, Marcos E. Orchard, Heraldo Rozas,
• Abstract要約: 機械学習(ML)では、回帰アルゴリズムはデータに基づく損失関数の最小化を目的としている。 グローバルな最適性の達成性を保証するデータ駆動評価手法は存在しない。 この研究は、回帰アルゴリズムを評価するための新しいデータ駆動フレームワークであるInformation Teacherを紹介する。
• 参考スコア（独自算出の注目度）: 3.602068950014566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Machine Learning (ML), a regression algorithm aims to minimize a loss function based on data. An assessment method in this context seeks to quantify the discrepancy between the optimal response for an input-output system and the estimate produced by a learned predictive model (the student). Evaluating the quality of a learned regressor remains challenging without access to the true data-generating mechanism, as no data-driven assessment method can ensure the achievability of global optimality. This work introduces the Information Teacher, a novel data-driven framework for evaluating regression algorithms with formal performance guarantees to assess global optimality. Our novel approach builds on estimating the Shannon mutual information (MI) between the input variables and the residuals and applies to a broad class of additive noise models. Through numerical experiments, we confirm that the Information Teacher is capable of detecting global optimality, which is aligned with the condition of zero estimation error with respect to the -- inaccessible, in practice -- true model, working as a surrogate measure of the ground truth assessment loss and offering a principled alternative to conventional empirical performance metrics.
• Abstract（参考訳）: 機械学習(ML)では、回帰アルゴリズムはデータに基づく損失関数の最小化を目的としている。 この文脈における評価手法は、入力出力システムに対する最適応答と学習予測モデル(学生)が生成する推定値との差を定量化する。 学習した回帰器の品質を評価することは真のデータ生成機構にアクセスできることなく困難であり、データ駆動型評価手法がグローバルな最適性の達成を保証できない。 この研究は、グローバルな最適性を評価するためのフォーマルなパフォーマンス保証を備えた回帰アルゴリズムを評価するための、新しいデータ駆動フレームワークであるInformation Teacherを紹介する。 提案手法は,入力変数と残差間のシャノン相互情報(MI)を推定し,広範囲の付加雑音モデルに適用する。 数値実験により,情報教師は,ゼロ推定誤差の条件に適合するグローバル最適性を検出することができることを確認した。これは,現実のモデルであり,基礎的真理評価損失のサロゲート尺度として機能し,従来の経験的評価指標に代わる原則的代替手段を提供する。

関連論文リスト

• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Towards Reliable Empirical Machine Unlearning Evaluation: A Cryptographic Game Perspective [5.724350004671127]
  機械学習は機械学習モデルを更新し、データ保護規則に従って、特定のトレーニングサンプルから情報を削除する。 近年、多くの未学習アルゴリズムが開発されているにもかかわらず、これらのアルゴリズムの信頼性評価は依然としてオープンな研究課題である。 この研究は、非学習アルゴリズムを実証的に評価するための、新しく信頼性の高いアプローチを示し、より効果的な非学習技術を開発するための道を開いた。
  論文  参考訳（メタデータ） (2024-04-17T17:20:27Z)
• Machine unlearning through fine-grained model parameters perturbation [26.653596302257057]
  そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。 また,機械学習の有効性を評価する上での課題にも取り組む。
  論文  参考訳（メタデータ） (2024-01-09T07:14:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。