論文の概要: Programmatic Representation Learning with Language Models

• arxiv url: http://arxiv.org/abs/2510.14825v1
• Date: Thu, 16 Oct 2025 16:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.936149
• Title: Programmatic Representation Learning with Language Models
• Title（参考訳）: 言語モデルを用いたプログラム表現学習
• Authors: Gabriel Poesia, Georgia Gabriela Sampaio,
• Abstract要約: Learned Programmatic Representations (LeaPR)モデルは、コードとして表現される任意の機能を積み重ねる。 教師付きデータからLeaPRモデルを学習するための2つのアルゴリズムを提案する。 我々の研究は、解釈可能な表現をエンドツーエンドで学習するための柔軟なパラダイムを示唆している。
• 参考スコア（独自算出の注目度）: 6.179868854898031
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Classical models for supervised machine learning, such as decision trees, are efficient and interpretable predictors, but their quality is highly dependent on the particular choice of input features. Although neural networks can learn useful representations directly from raw data (e.g., images or text), this comes at the expense of interpretability and the need for specialized hardware to run them efficiently. In this paper, we explore a hypothesis class we call Learned Programmatic Representations (LeaPR) models, which stack arbitrary features represented as code (functions from data points to scalars) and decision tree predictors. We synthesize feature functions using Large Language Models (LLMs), which have rich prior knowledge in a wide range of domains and a remarkable ability to write code using existing domain-specific libraries. We propose two algorithms to learn LeaPR models from supervised data. First, we design an adaptation of FunSearch to learn features rather than directly generate predictors. Then, we develop a novel variant of the classical ID3 algorithm for decision tree learning, where new features are generated on demand when splitting leaf nodes. In experiments from chess position evaluation to image and text classification, our methods learn high-quality, neural network-free predictors often competitive with neural networks. Our work suggests a flexible paradigm for learning interpretable representations end-to-end where features and predictions can be readily inspected and understood.
• Abstract（参考訳）: 決定木のような教師付き機械学習の古典モデルは効率的かつ解釈可能な予測器であるが、それらの品質は入力特徴の特定の選択に大きく依存している。 ニューラルネットワークは、生のデータ(画像やテキストなど)から直接有用な表現を学習することができるが、これは解釈可能性と、それを効率的に実行するための特別なハードウェアの必要性を犠牲にしている。 本稿では,学習プログラム表現(LeaPR)モデルと呼ばれる仮説クラスについて検討する。 言語モデル (LLM) を用いて機能関数を合成し, 多様なドメインの知識が豊富であり, 既存のドメイン固有ライブラリを用いたコード記述能力に優れる。 教師付きデータからLeaPRモデルを学習するための2つのアルゴリズムを提案する。 まず、予測子を直接生成するのではなく、機能を学ぶためにFunSearchの適応を設計する。 そこで我々は,古典的ID3アルゴリズムの新たな変種を開発し,葉ノード分割時に要求に応じて新たな特徴を生成する。 チェスの位置評価から画像とテキストの分類までの実験では、ニューラルネットワークとよく競合する高品質のニューラルネットワークフリー予測器を学習する。 我々の研究は、機能や予測を簡単に検査し理解できるエンドツーエンドの解釈可能な表現を学習するための柔軟なパラダイムを提案する。

関連論文リスト

• pyhgf: A neural network library for predictive coding [0.2150989251218736]
  texttpyhgfは、予測コーディングのための動的ネットワークの作成、操作、サンプリングのためのPythonパッケージである。 ネットワークコンポーネントを透過的でモジュール的で、拡張可能な変数としてメッセージパッシングステップに囲み込むことで、他のフレームワークよりも改善します。 コア変数の透明性は、自己組織化の原則を活用する推論プロセスにも変換できる。
  論文  参考訳（メタデータ） (2024-10-11T19:21:38Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features [18.321479102352875]
  ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。 実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。 勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
  論文  参考訳（メタデータ） (2022-06-03T17:49:38Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
  我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。 このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。 分類モデルと非分類モデルの両方に使用できる。
  論文  参考訳（メタデータ） (2020-09-16T18:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。