論文の概要: Coding LLMs Can Be Harnessed to Learn Interpretable Models from Data

• arxiv url: http://arxiv.org/abs/2610.14006v1
• Date: Mon, 28 Sep 2026 17:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.462172
• Title: Coding LLMs Can Be Harnessed to Learn Interpretable Models from Data
• Title（参考訳）: LLMのコーディングは、データから解釈可能なモデルを学ぶのに有害である
• Abstract要約: ルールセットで次のルールを生成するために、コーディング LLM を繰り返すシンプルなハーネスを提案する。 このアプローチは、最先端のルール学習手法と競合し、しばしば優位であることを示す。
• 参考スコア（独自算出の注目度）: 30.93204577948161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since compact, interpretable classifiers correspond to simple programs, it is natural to ask if LLM-based coding agents can be used to learn interpretable models from data. In this paper we present a simple harness that repeatedly prompts a coding LLM to produce the next rule in a rule set, given a sample of labeled examples. We show that this approach is competitive with, and often superior to, state-of-the-art rule-learning methods on tabular data, especially with small training sets, and wins by large margins on text, including against another LLM-based rule learner; that this approach outperforms standard harnesses, and that the approach immediately leads to new kinds of interpretable models, since coding agents are not restricted to search a highly restricted hypothesis space. In addition to the advances made in learning interpretable models, these results are of interest because they introduce a new class of coding benchmarks - construction of interpretable classifiers - which includes quantitative measurements of output quality (i.e., test-set error) and existing mature ``specialist coding algorithms'' (i.e., existing learning methods).
• Abstract（参考訳）: コンパクトで解釈可能な分類器は単純なプログラムに対応するため、データから解釈可能なモデルを学習するためにLLMベースの符号化エージェントを使用できるかどうかを問うことは自然である。 本稿では,ラベル付きサンプルのサンプルから,LLMが規則セットで次のルールを生成することを繰り返し促すシンプルなハーネスを提案する。 提案手法は,特に小規模の学習セットにおいて,表型データに対する最先端のルール学習手法と競合し,かつ,他のLSMベースのルール学習者と比較して,テキスト上の大きなマージンで勝っていること,また,このアプローチが標準的ハーネスよりも優れていること,また,符号化エージェントが高度に制限された仮説空間の探索に制限されないため,新たな種類の解釈可能なモデルに即時につながること,などが示される。 解釈可能なモデルを学ぶことの進歩に加えて、これらの結果は、新しい種類のコーディングベンチマーク(解釈可能な分類器の構築)を導入し、出力品質(すなわち、テストセットエラー)と既存の成熟した‘特殊主義的コーディングアルゴリズム’(すなわち、既存の学習方法)を定量的に測定する。

関連論文リスト

• MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
  大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。 MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。 LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
  論文  参考訳（メタデータ） (2025-03-26T11:09:21Z)
• An Effective Approach to Embedding Source Code by Combining Large Language and Sentence Embedding Models [6.976968804436321]
  本稿では,大言語と文埋め込みモデルを組み合わせた新しいソースコード埋め込み手法を提案する。 提案手法の性能を評価するため,異なるプログラミング言語を用いた3つのデータセットについて一連の実験を行った。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• Distilling Rule-based Knowledge into Large Language Models [90.7765003679106]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。