論文の概要: From Embeddings to Equations: Genetic-Programming Surrogates for Interpretable Transformer Classification

• arxiv url: http://arxiv.org/abs/2509.21341v1
• Date: Tue, 16 Sep 2025 02:17:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 05:29:07.753633
• Title: From Embeddings to Equations: Genetic-Programming Surrogates for Interpretable Transformer Classification
• Title（参考訳）: 埋め込みから方程式へ:解釈可能なトランスフォーマー分類のための遺伝的プログラミングサロゲート
• Authors: Mohammad Sadegh Khorshidi, Navid Yazdanjue, Hassan Gharoun, Mohammad Reza Nikoo, Fang Chen, Amir H. Gandomi,
• Abstract要約: 本研究では, 冷凍トランスフォーマー埋め込みのシンボル代理モデルを用いて, キャリブレーションされた確率を持つコンパクトで監査可能な分類器について検討する。 5つのベンチマーク(SST2G、20NG、MNIST、CIFAR10、MSC17)では、ModernBERT、DINOv2、SigLIPの埋め込みがトレーニングセットに分割され、情報保存ビューに分割される。 協調型多集団遺伝プログラム(MEGP)は、これらの観点から付加的でクローズドなロジットプログラムを学ぶ。
• 参考スコア（独自算出の注目度）: 9.17282078449475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study symbolic surrogate modeling of frozen Transformer embeddings to obtain compact, auditable classifiers with calibrated probabilities. For five benchmarks (SST2G, 20NG, MNIST, CIFAR10, MSC17), embeddings from ModernBERT, DINOv2, and SigLIP are partitioned on the training set into disjoint, information-preserving views via semantic-preserving feature partitioning (SPFP). A cooperative multi-population genetic program (MEGP) then learns additive, closed-form logit programs over these views. Across 30 runs per dataset we report F1, AUC, log-loss, Brier, expected calibration error (ECE), and symbolic complexity; a canonical model is chosen by a one-standard-error rule on validation F1 with a parsimony tie-break. Temperature scaling fitted on validation yields substantial ECE reductions on test. The resulting surrogates achieve strong discrimination (up to F1 around 0.99 on MNIST, CIFAR10, MSC17; around 0.95 on SST2G), while 20NG remains most challenging. We provide reliability diagrams, dimension usage and overlap statistics, contribution-based importances, and global effect profiles (PDP and ALE), demonstrating faithful, cross-modal explanations grounded in explicit programs.
• Abstract（参考訳）: 本研究では, 冷凍トランスフォーマー埋め込みのシンボル代理モデルを用いて, キャリブレーションされた確率を持つコンパクトで監査可能な分類器について検討する。 5つのベンチマーク(SST2G、20NG、MNIST、CIFAR10、MSC17)では、ModernBERT、DINOv2、SigLIPの埋め込みは、セマンティック保存機能分割(SPFP)を介してトレーニングセットに分割される。 協調型多集団遺伝プログラム(MEGP)は、これらの観点から付加的でクローズドなロジットプログラムを学ぶ。 F1、AUC、ログロス、Brier、予測キャリブレーションエラー(ECE)、シンボリック複雑性を報告します。 検証に適合した温度スケーリングは、テストでかなりのECE削減をもたらす。 結果として得られるサロゲートは強い差別(MNIST、CIFAR10、MSC17ではF1、SST2Gでは0.95)を達成し、20NGは依然として最も難しい。 我々は、信頼度図、次元の使い方と重複統計、貢献に基づく重要度、およびグローバルエフェクトプロファイル(PDPとALE)を提供し、明示的なプログラムに根ざした忠実なクロスモーダルな説明を示す。

関連論文リスト

• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• PRISM: Distributed Inference for Foundation Models at Edge [73.54372283220444]
  PRISMは、エッジデバイス上での分散トランスフォーマー推論のための通信効率と計算アウェア戦略である。 ViT,BERT,GPT-2のPRISMを多種多様なデータセットで評価した。
  論文  参考訳（メタデータ） (2025-07-16T11:25:03Z)
• Prior2Former -- Evidential Modeling of Mask Transformers for Assumption-Free Open-World Panoptic Segmentation [74.55677741919035]
  顕在学習に根ざしたセグメンテーション・ビジョン・トランスフォーマの最初のアプローチである Prefer2Former (P2F) を提案する。 P2Fは、ピクセル単位のバイナリマスク割り当てにおいて、モデル不確実性を計算するためのベータを組み込むことで、マスクビジョントランスフォーマーアーキテクチャを拡張している。 未知のクラスに対処するほとんどのセグメンテーションモデルとは異なり、P2FはOODデータサンプルへのアクセスや、ヴォイド(ラベルなし)クラスに対する対照的なトレーニングなしで動作する。
  論文  参考訳（メタデータ） (2025-04-07T08:53:14Z)
• Harnessing Mixed Features for Imbalance Data Oversampling: Application to Bank Customers Scoring [5.091061468748012]
  MGS-GRFは複合機能用に設計されたオーバーサンプリング戦略である。 その結果,MGS-GRFはコヒーレンス(コヒーレンス),すなわち,原データセットにすでに存在する分類的特徴の組み合わせのみを生成できる能力,すなわち連続的特徴と分類的特徴との依存性を維持できる能力の2つの重要な特性を示すことがわかった。
  論文  参考訳（メタデータ） (2025-03-26T08:53:40Z)
• Coping with Change: Learning Invariant and Minimum Sufficient Representations for Fine-Grained Visual Categorization [26.254072665916155]
  細粒度視覚分類(FGVC)は、様々な種間の類似した視覚的外観のために難しい課題である。 以前の研究では、トレーニングデータとテストデータは、同じ基礎的な分布を持ち、現代のバックボーンアーキテクチャによって抽出された特徴は差別的であり、見つからないテストデータによく当てはまると仮定されている。 我々は、FGVCにおける不変リスク最小化(IRM)と情報ボトルネック(IB)の原則を組み合わせて、不変性と最小限のIMS表現を学習する。
  論文  参考訳（メタデータ） (2023-06-08T02:45:15Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Feature Quantization Improves GAN Training [126.02828112121874]
  識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
  論文  参考訳（メタデータ） (2020-04-05T04:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。