論文の概要: Using Small Language Models to Reverse-Engineer Machine Learning Pipelines Structures

• arxiv url: http://arxiv.org/abs/2601.03988v1
• Date: Wed, 07 Jan 2026 15:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.20937
• Title: Using Small Language Models to Reverse-Engineer Machine Learning Pipelines Structures
• Title（参考訳）: 小言語モデルを用いたリバースエンジニアリング機械学習パイプライン構造
• Authors: Nicolas Lacroix, Mireille Blay-Fornarino, Sébastien Mosser, Frederic Precioso,
• Abstract要約: 既存のアプローチは、非スケーリング、手動ラベリング、あるいはドメインの多様性を適切にサポートしていないML分類器に依存する。 我々は,これらの制約に対処するために,Small Language Models (SLM) がコード理解と分類能力を活用できるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 0.38180404292108383
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Background: Extracting the stages that structure Machine Learning (ML) pipelines from source code is key for gaining a deeper understanding of data science practices. However, the diversity caused by the constant evolution of the ML ecosystem (e.g., algorithms, libraries, datasets) makes this task challenging. Existing approaches either depend on non-scalable, manual labeling, or on ML classifiers that do not properly support the diversity of the domain. These limitations highlight the need for more flexible and reliable solutions. Objective: We evaluate whether Small Language Models (SLMs) can leverage their code understanding and classification abilities to address these limitations, and subsequently how they can advance our understanding of data science practices. Method: We conduct a confirmatory study based on two reference works selected for their relevance regarding current state-of-the-art's limitations. First, we compare several SLMs using Cochran's Q test. The best-performing model is then evaluated against the reference studies using two distinct McNemar's tests. We further analyze how variations in taxonomy definitions affect performance through an additional Cochran's Q test. Finally, a goodness-of-fit analysis is conducted using Pearson's chi-squared tests to compare our insights on data science practices with those from prior studies.
• Abstract（参考訳）: 背景: 機械学習(ML)パイプラインをソースコードから抽出することが、データサイエンスの実践をより深く理解するための鍵となる。 しかし、MLエコシステムの絶え間ない進化(アルゴリズム、ライブラリ、データセットなど)によって引き起こされる多様性は、このタスクを難しくしている。 既存のアプローチは、非スケーリング、手動ラベリング、あるいはドメインの多様性を適切にサポートしていないML分類器に依存する。 これらの制限は、より柔軟で信頼性の高いソリューションの必要性を強調します。 目的: 小言語モデル(SLM)がこれらの制限に対処するためにコード理解と分類能力を活用できるかどうかを評価し, 続いてデータサイエンスの実践に対する理解を深める方法について検討する。 方法: 本研究は, 現状の限界に関する2つの基準研究に基づいて, 検証研究を行う。 まず、コクランのQテストを用いて複数のSLMを比較した。 最高の性能モデルは、2つの異なるマクネマール試験を用いて参照研究に対して評価される。 さらに、分類学定義のバリエーションが、追加のコクランのQテストによってパフォーマンスにどのように影響するかを分析する。 最後に、Pearson氏の2乗検定を用いて、データサイエンスの実践に関する洞察と先行研究の知見を比較する。

関連論文リスト

• CAuSE: Decoding Multimodal Classifiers using Faithful Natural Language Explanation [46.9286703847151]
  我々は,事前訓練されたマルチモーダル分類器に対して忠実なNLEを生成する新しいフレームワークであるCAuSE(Causal Abstraction under Simulated Explanations)を提案する。 我々は、CAuSEが広範囲な経験的評価を通じてデータセットやモデルにまたがる一般化を実証する。 さらに、マルチモーダル設定における因果的忠実度を測定するために、再設計された基準によってこれを検証する。
  論文  参考訳（メタデータ） (2025-12-07T12:15:21Z)
• Utilizing Large Language Models for Machine Learning Explainability [37.31918138232927]
  本研究では,機械学習(ML)ソリューションを自律的に生成する際の,大規模言語モデル(LLM)の説明可能性について検討する。 最先端の3つのLCMは、ランダムフォレスト、XGBoost、マルチレイヤーパーセプトロン、ロング短期記憶ネットワークの4つの共通分類器のためのトレーニングパイプラインを設計するよう促される。 生成したモデルは、SHAP(SHapley Additive exPlanations)を用いた予測性能(リコール、精度、F1スコア)と説明可能性の観点から評価される。
  論文  参考訳（メタデータ） (2025-10-08T11:46:23Z)
• SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
  敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。 オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。 予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
  論文  参考訳（メタデータ） (2025-09-12T02:53:57Z)
• Semantic Source Code Segmentation using Small and Large Language Models [2.5748316361772963]
  本稿では,Large and Small Language Models (LLMs/SLMs) を用いた研究Rコードセグメンテーションのためのドメイン固有自動手法を提案する。 文脈を用いた線毎解析と範囲に基づくセグメント決定の2つの異なるアプローチについて検討する。 この結果から,コンテキストベースライン・バイ・ライン分析の方が範囲ベースセグメンテーションよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-07-11T19:49:59Z)
• An Analysis of LLM Fine-Tuning and Few-Shot Learning for Flaky Test Detection and Classification [1.9336815376402723]
  燃えるようなテストは実行中に非決定的な振る舞いを示す。 テストの振る舞いの多様性のため、燃えるようなテストの検出と分類は難しい。
  論文  参考訳（メタデータ） (2025-02-04T20:54:51Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms [36.04356511882304]
  自己教師付き学習(SSL)は、幅広いアプリケーションで有望な結果を示している。 データとタスクの性質について明確な理解が得られていないため、一方のアプローチがもう一方よりも優れている。
  論文  参考訳（メタデータ） (2020-06-19T05:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。