論文の概要: HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection
- arxiv url: http://arxiv.org/abs/2608.08069v1
- Date: Sat, 08 Aug 2026 11:28:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.646623
- Title: HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection
- Title（参考訳）: HugSelect: 基礎モデル選択のための説明可能な多領域決定支援フレームワーク
- Abstract要約: 本稿では,基礎モデル選択のための意思決定支援フレームワークであるHugSelectを提案する。
HugSelectは、リポジトリメタデータ、抽出された機能機能、知覚された品質属性を組み合わせることで、71,274モデルの知識ベースを構築する。
基準レベルのスコア分解を公開する重み付き加法モデルを用いて候補モデルをランク付けする。
- 参考スコア（独自算出の注目度）: 1.0710988917914002
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models are increasingly reused as software components, making model selection a critical software-engineering decision. Current model hubs primarily support discovery through popularity metrics, often neglecting functional capabilities, operational constraints, and community-perceived quality. We argue that foundation-model selection should be treated as an explicit, auditable software-component selection task rather than as keyword search, popularity ranking, or opaque conversational advice. This paper proposes HugSelect, an explainable decision-support framework for foundation-model selection. HugSelect builds a knowledge base of 71,274 models by combining repository metadata, extracted functional capabilities, and perceived quality attributes derived from community discussions into a unified pipeline. It ranks candidate models using a weighted additive model that exposes criterion-level score decompositions. We evaluated HugSelect through pipeline validation, comparative case studies against four commercial LLM-based recommendation systems (44 scenarios), fine-grained ablation, and an exploratory user study (n = 10). Extraction pipelines achieved an F1 score of 0.801 for functional features and an accuracy of 0.84 for quality-attribute mapping. HugSelect achieved a model-level Coverage@10 of 0.61 and family-level Coverage@10 of 0.91, showing recommendation quality comparable to that of the evaluated commercial systems, with no significant overall differences in ranking quality, while providing stable, traceable, and inspectable reasoning. Ablation confirmed that functional features were the main driver of retrieval accuracy, and preliminary user feedback suggests that the framework is useful and intuitive.
- Abstract（参考訳）: ファンデーションモデルはソフトウェアコンポーネントとして再利用され、モデル選択はソフトウェアエンジニアリングの重要な決定となる。
現在のモデルハブは、主に人気メトリクスによる発見をサポートし、機能機能、運用上の制約、コミュニティが知覚する品質を無視することが多い。
基本モデル選択は、キーワード検索や人気ランキング、不透明な会話アドバイスよりも、明示的で監査可能なソフトウェアコンポーネント選択タスクとして扱われるべきである。
本稿では,基礎モデル選択のための意思決定支援フレームワークであるHugSelectを提案する。
HugSelectは、リポジトリメタデータ、抽出された機能機能、コミュニティの議論から得られた品質特性を統合パイプラインに組み合わせることで、71,274モデルの知識ベースを構築する。
基準レベルのスコア分解を公開する重み付き加法モデルを用いて候補モデルをランク付けする。
パイプライン検証によるHugSelectの評価,商業LLMベースの推薦システム(44シナリオ),細粒度アブレーション,探索的ユーザスタディ(n=10。
抽出パイプラインは機能特性のF1スコアが0.801、品質属性マッピングの精度は0.84に達した。
HugSelectは0.61のモデルレベルのCoverage@10と0.91のファミリーレベルのCoverage@10を達成した。
Ablationは、機能機能が検索精度の主要な要因であることを確認し、事前のユーザーフィードバックは、フレームワークが有用で直感的であることを示唆している。
関連論文リスト
- LoRA Fine-Tuned Models for Control Systems Course Q\&A: A Multidimensional Evaluation of Model Scale and Rank Effects [12.865623591533456]
大型言語モデル (LLMs) は専門の大学コースでの利用が増えている。
直接的な汎用応答は、一貫性のない構造であり、検証が困難である。
我々は360度システム・ユーザ・アシスタント・会話の教師付き微調整データセットを構築した。
論文 参考訳（メタデータ） (2026-09-12T13:04:04Z) - Selecting Open-Weight Language Models for Zero-Shot Intent Classification: A Systematic Evaluation of 41 Models [0.0]
15の家系にまたがる41のオープンウェイト言語モデルと135M--9Bパラメータ範囲の体系的ゼロショット評価を行った。
我々は,信頼性キャリブレーション,現実的な入力摂動に対する堅牢性,モデルランキングの統計的信頼性,デプロイメント効率,ベンチマーク飽和度を分析した。
これらの知見は、意図分類のためのオープンウェイト言語モデルの選択と評価のための実践的なガイダンスを提供する。
論文 参考訳（メタデータ） (2026-07-29T19:42:33Z) - DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。
我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文 参考訳（メタデータ） (2026-06-24T22:40:46Z) - Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。
次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。
大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
論文 参考訳（メタデータ） (2026-06-20T07:52:46Z) - Can Revealed Preferences Clarify LLM Alignment and Steering? [23.175180848107093]
LLMの観測した選択が最適化するインプリート嗜好を推定するための経験的パイプラインを提案する。
提案手法は,モデルが一貫したゴール指向の振る舞いをするかどうかの厳密な評価を可能にすることを示す。
論文 参考訳（メタデータ） (2026-05-08T23:26:35Z) - Model Correlation Detection via Random Selection Probing [62.093777777813756]
既存の類似性に基づく手法では、モデルパラメータにアクセスしたり、しきい値なしでスコアを生成する必要がある。
本稿では,モデル相関検出を統計的テストとして定式化する仮説テストフレームワークであるランダム選択探索(RSP)を紹介する。
RSPは相関の証拠を定量化する厳密なp-値を生成する。
論文 参考訳（メタデータ） (2025-09-29T01:40:26Z) - Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications [0.7124971549479361]
本研究では,大言語モデル(LLM)のバイナリテキスト分類における一貫性を評価するフレームワークを提案する。
我々は,サンプルサイズ要件を定め,不適切な応答の指標を開発し,レータ内およびレータ間信頼性を評価する。
論文 参考訳（メタデータ） (2025-05-20T21:12:58Z) - REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。
REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
論文 参考訳（メタデータ） (2024-03-13T18:06:43Z) - Clustering and Ranking: Diversity-preserved Instruction Selection through Expert-aligned Quality Estimation [56.13803674092712]
本稿では,産業に優しく,専門家に順応し,多様性に配慮した指導データ選択手法を提案する:クラスタリングとランキング(CaR)
CaRは2段階のプロセスを採用している: まず、専門家の好みに合わせた高精度(84.25%)のスコアリングモデルを使用して、命令ペアをランク付けする。
我々の実験では、CaRはAlpacaのITデータのわずか1.96%を効率よく選択したが、結果のAlpaCaRモデルはGPT-4の評価において平均32.1%の精度でAlpacaのパフォーマンスを上回った。
論文 参考訳（メタデータ） (2024-02-28T09:27:29Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - Variable Importance Matching for Causal Inference [73.25504313552516]
これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。
Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。
LASSO を用いて Model-to-Match フレームワークを運用する。
論文 参考訳（メタデータ） (2023-02-23T00:43:03Z) - A User-Guided Bayesian Framework for Ensemble Feature Selection in Life
Science Applications (UBayFS) [0.0]
本稿では,ベイズ統計フレームワークに組み込んだアンサンブル特徴選択手法UBayFSを提案する。
提案手法は,データとドメイン知識の2つの情報源を考慮し,特徴選択のプロセスを強化する。
標準的な機能セレクタとの比較では、UBayFSは競争力のあるパフォーマンスを実現し、ドメイン知識を組み込むための柔軟性を提供する。
論文 参考訳（メタデータ） (2021-04-30T06:51:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。