論文の概要: Equally Good, Yet Different: Benchmarking Rashomon sets in AutoML packages

• arxiv url: http://arxiv.org/abs/2609.36970v1
• Date: Tue, 29 Sep 2026 08:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.311582
• Title: Equally Good, Yet Different: Benchmarking Rashomon sets in AutoML packages
• Title（参考訳）: Equally Good, but different: AutoMLパッケージのRashomonセットのベンチマーク
• Abstract要約: RashomonエフェクトはAutoMLにおいて重要な脆弱性を生み出す:x-hacking。 本稿では,Rashomon集合構造と予測多重度を定量化するオープンソースのPythonフレームワークであるARSA MLを紹介する。 ARSA MLを使用して、28のバイナリ分類データセットに対してAutoGluonとH2Oをベンチマークする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Rashomon effect describes the existence of multiple near-optimal models that achieve comparable performance while offering fundamentally different explanations. This creates a critical vulnerability in AutoML: x-hacking, the selective post-hoc choice of a model based on its explanation rather than predictive merit. No existing AutoML framework exposes this risk. We introduce ARSA ML, an open-source Python framework that quantifies Rashomon set structure and predictive multiplicity within AutoML pipelines. Using ARSA ML, we benchmark AutoGluon and H2O across 28 binary classification datasets, and conduct a post-hoc x-hacking analysis revealing a consistent structural asymmetry: AutoGluon produces larger, diverse sets with stable explanations, while H2O generates compact sets with markedly higher prediction divergence and explanation instability -- making H2O users considerably more exposed to x-hacking. This gap persists across all evaluated metrics and epsilon thresholds, pointing to a fundamental difference in each framework's model-building strategy. ARSA ML is available at https://pypi.org/project/arsa-ml/ .
• Abstract（参考訳）: ラショモン効果は、基本的に異なる説明を提供しながら同等のパフォーマンスを達成する複数の準最適モデルの存在を記述している。 これはAutoMLにおいて重要な脆弱性を生み出している: x-hacking、予測的メリットではなく、その説明に基づくモデルの選択後選択である。 既存のAutoMLフレームワークがこのリスクを露呈することはない。 本稿では,Rashomon集合構造とAutoMLパイプライン内の予測多重度を定量化する,オープンソースのPythonフレームワークであるARSA MLを紹介する。 ARSA MLを使用して、28のバイナリ分類データセットにわたってAutoGluonとH2Oをベンチマークし、一貫した構造的非対称性を示すポストホックなxハック分析を実行する。 このギャップは、評価されたすべてのメトリクスとエプシロンしきい値にまたがって持続し、各フレームワークのモデル構築戦略における根本的な違いを示している。 ARSA MLはhttps://pypi.org/project/arsa-ml/ で利用可能だ。

関連論文リスト

• TabSHAP [5.3259362673757735]
  大規模な言語モデルは、伝統的なツリーベースのモデルに代わる強力な選択肢として現れています。 既存の手法は、しばしば大域的な線形プロキシやスカラー確率シフトに頼り、モデルの完全な確率的不確実性を捉えるのに失敗する。 本稿では,ローカルクエリ決定ロジックを直接属性として設計したモデルに依存しない解釈可能性フレームワークであるTabSHAPを紹介する。
  論文  参考訳（メタデータ） (2026-04-22T22:04:45Z)
• ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding [23.27523995613204]
  本稿では、解釈可能性空間を利用してモデル表現を構築するフレームワークであるABLE(Attribution-based Large-model Embedding)を提案する。 パラメーターに依存しない単語レベルのアライメントによって勾配に基づく特徴属性を集約することにより、ABLEはモデル固有の入力感度パターンをキャプチャする。 我々のトレーニングフリーアプローチは、関係予測、モデルルーティング、ベンチマークスコア予測において、競争力または優れた性能を達成する。
  論文  参考訳（メタデータ） (2026-04-20T04:55:11Z)
• Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
  Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。 我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
  論文  参考訳（メタデータ） (2026-02-11T21:45:18Z)
• Robustness of AutoML on Dirty Categorical Data [10.798536038901903]
  自動機械学習(AutoML)の目標は、機械学習(ML)を行う際の試行錯誤を減らすことである。 近年の研究では、MLモデルが汚い分類データに対する形態的エンコーダの恩恵を受け、予測性能が向上することが示されている。 本稿では,分類データを数値データに変換するパイプラインを提案し,より高度な符号化方式によって変換された分類データをAutoMLで処理できるようにする。
  論文  参考訳（メタデータ） (2026-01-31T00:05:59Z)
• Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry [0.0]
  本研究では,SLERPモデルがタスク固有適応によって導入された超特殊化を緩和する程度について検討する。 モデルの4つのファミリを比較する: ゼロから訓練された非LLMエンコーダ、パラメータ係数法(LoRA)に適応したLLMベースのエンコーダ、LoRAを用いたLLMベースのエンコーダ、ベースウェイトにマージしたモデルスープ、および同じLoRA適応LLMはチェックポイントやステージをまたいだSLERPを用いてマージされる。
  論文  参考訳（メタデータ） (2025-11-16T17:28:06Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
  本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T20:14:30Z)
• Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
  本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。 我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。 解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
  論文  参考訳（メタデータ） (2021-09-12T18:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。