論文の概要: Using Small Language Models to Reverse-Engineer Machine Learning Pipelines Structures

• arxiv url: http://arxiv.org/abs/2610.10261v1
• Date: Wed, 07 Oct 2026 15:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.99712
• Title: Using Small Language Models to Reverse-Engineer Machine Learning Pipelines Structures
• Title（参考訳）: 小言語モデルを用いたリバースエンジニアリング機械学習パイプライン構造
• Abstract要約: 既存のアプローチでは、非スケール可能な手動ラベリングや、ドメインの多様性を適切にサポートしていない分類器に依存している。 我々は,これらの制約に対処するために,Small Language Models (SLM) がコード理解と分類能力を活用できるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Context: Once defined a taxonomy of stages structuring Machine Learning (ML) pipelines (e.g. Data Preprocessing, Modeling...), extracting these stages from source code is key for better understanding ML practices. However, the diversity caused by the constant evolution of ML (e.g., algorithms, datasets) makes this task challenging. Existing approaches either rely on non-scalable manual labeling or on classifiers that do not properly support domain's diversity. These limitations call for more reliable solutions. Objective: We evaluate whether Small Language Models (SLMs) can leverage their code understanding and classification abilities to address these limitations, and enhance our understanding of practices in ML. Method: We conduct a confirmatory study based on two relevant reference works representing current limitations in the state-of-the-art. We first compare several SLMs using Cochran's Q test, then evaluate the best-performing model against reference studies via two McNemar's tests. An additional Cochran's Q test examines how taxonomy definition variations affect the SLM performance. Finally, goodness-of-fit tests compare ML practice insights from SLM classification with those from prior studies. Results: First, we found that the taxonomy wording significantly impacts classification performance. Second, the best performing SLM yielded good results, yet, without outperforming other classifiers. Third, the three classification methods led to significantly different insights, with varying effect sizes, when exploring practices of data scientists. Conclusions: Limitations of existing classification methods bias our understanding of ML practices. While current SLMs show promising results without prior fine-tuning, they still exhibit common limitations, in addition to inference high costs challenging their applicability in large-scale studies.
• Abstract（参考訳）: コンテキスト: 一度、機械学習(ML)パイプラインを構造化する段階(例えば、データ前処理、モデリング...)の分類を定義し、ソースコードからこれらの段階を抽出することが、MLの実践をよりよく理解するための鍵となる。 しかし、MLの絶え間ない進化(アルゴリズム、データセットなど)によって引き起こされる多様性は、このタスクを困難にしている。 既存のアプローチでは、非スケール可能な手動ラベリングや、ドメインの多様性を適切にサポートしていない分類器に依存している。 これらの制限により、より信頼性の高いソリューションが要求される。 目的: 小言語モデル(SLM)がこれらの制限に対処するためにコード理解と分類能力を活用し、MLにおけるプラクティスの理解を高めることができるかどうかを評価する。 方法: 現状の限界を表す2つの参考文献をもとに, 確認研究を行う。 まず、コクランのQテストを用いていくつかのSLMを比較し、2つのMcNemarのテストを通して参照研究に対して最高の性能モデルを評価する。 追加のコクランのQテストでは、分類学的定義のバリエーションがSLMのパフォーマンスにどのように影響するかを調べる。 最後に、SLM分類によるML実践の洞察と先行研究の知見を比較した。 結果: まず, 分類学用語は分類性能に大きな影響を及ぼすことがわかった。 第二に、最高の性能のSLMは良い結果を得たが、他の分類器に勝ることはなかった。 第三に、3つの分類法は、データサイエンティストの実践を探索する際に、様々な効果サイズで、大きく異なる洞察を導いた。 結論: 既存の分類手法の限界は、MLプラクティスの理解に偏っている。 現在のSLMは、事前の微調整なしに有望な結果を示す一方で、大規模な研究で適用可能性に挑戦する高いコストの推測に加えて、一般的な制限も示している。

関連論文リスト

• Using Small Language Models to Reverse-Engineer Machine Learning Pipelines Structures [0.38180404292108383]
  既存のアプローチは、非スケーリング、手動ラベリング、あるいはドメインの多様性を適切にサポートしていないML分類器に依存する。 我々は,これらの制約に対処するために,Small Language Models (SLM) がコード理解と分類能力を活用できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-01-07T15:00:22Z)
• Utilizing Large Language Models for Machine Learning Explainability [37.31918138232927]
  本研究では,機械学習(ML)ソリューションを自律的に生成する際の,大規模言語モデル(LLM)の説明可能性について検討する。 最先端の3つのLCMは、ランダムフォレスト、XGBoost、マルチレイヤーパーセプトロン、ロング短期記憶ネットワークの4つの共通分類器のためのトレーニングパイプラインを設計するよう促される。 生成したモデルは、SHAP(SHapley Additive exPlanations)を用いた予測性能(リコール、精度、F1スコア)と説明可能性の観点から評価される。
  論文  参考訳（メタデータ） (2025-10-08T11:46:23Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Instance-Level Data-Use Auditing of Visual ML Models [49.862257986549885]
  機械学習(ML)システムにおけるデータの不正使用に関する法的論争の傾向は、信頼性の高いデータ利用監査機構の必要性を浮き彫りにしている。 本稿では、データ所有者がMLモデルにおける個々のデータインスタンスの使用を監査できるように設計された、最初のプロアクティブな、インスタンスレベルのデータ利用監査手法を提案する。
  論文  参考訳（メタデータ） (2025-03-28T13:28:57Z)
• Large Language Models For Text Classification: Case Study And Comprehensive Review [0.3428444467046467]
  各種言語モデル(LLM)の性能を,最先端のディープラーニングモデルや機械学習モデルと比較して評価する。 本研究は,提案手法に基づくモデル応答の有意な変動を明らかにした。
  論文  参考訳（メタデータ） (2025-01-14T22:02:38Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Expanding continual few-shot learning benchmarks to include recognition of specific instances [0.0]
  継続的な学習と数発の学習は、より広範な機械学習(ML)機能に向けた進歩の重要なフロンティアである。 最初の例の1つは、Antoniou et al. arXiv:2004.11967 の連続的な数発学習フレームワークであった。 我々はCFSLを2つの方法で拡張し、現実の環境での知的エージェントの振る舞いにおいて重要な、幅広い課題を捉える。
  論文  参考訳（メタデータ） (2022-08-26T06:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。