論文の概要: When Does a Classifier Help an LLM? Classifier-Guided Prompting and Hybrid Classifier-LLM Models for Credit-Default Prediction
- arxiv url: http://arxiv.org/abs/2608.30086v1
- Date: Sun, 30 Aug 2026 23:17:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.17508
- Title: When Does a Classifier Help an LLM? Classifier-Guided Prompting and Hybrid Classifier-LLM Models for Credit-Default Prediction
- Title（参考訳）: 分類器は LLM をいつ助けるか? クレジットデフォールト予測のための分類器誘導プロンプトとハイブリッド分類器-LLMモデル
- Abstract要約: 大規模言語モデル(LLM)は、最近、信用デフォルト予測に適用されている。
我々は,クレジットカードのデフォルト予測のために,適合型分類器とLCMを組み合わせる方法について検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Credit-default prediction is an important task in financial decision making. Traditional methods use fitted classifiers such as logistic regression and random forests on tabular features. Large language models (LLMs) have recently been applied to this task through prompting. In this work we study how a fitted classifier and an LLM can be combined for credit-default prediction. We distinguish telling the LLM to imitate a classifier from using the classifier to build the prompt. We hypothesize that a fitted classifier can supply the ranking ability that an LLM prompt lacks. We experiment on the Default of Credit Card Clients dataset, and report recall, F1, and the area under the ROC and precision-recall curves, with bootstrap confidence intervals. We observe that a few-shot LLM has the highest recall (0.47) and F1 (0.50) of any single model but ranks worse than a random forest (AUC-ROC 0.72 against 0.79). Instructing the LLM to imitate a classifier gives no significant change. Pruning the prompt to the classifier's eight most important features raises recall by 0.071 and F1 by 0.032. Adding the classifier's predicted probability to the prompt raises the LLM's AUC-ROC from 0.72 to 0.78, matching the random forest, while keeping 0.118 higher recall than it. The reverse composition, and the use of several classifiers, do not help. We thus recommend a simple classifier-guided prompt for LLM-based credit prediction.
- Abstract（参考訳）: 信用デフォルト予測は、金融決定において重要な課題である。
伝統的な手法では、表形式の特徴に対してロジスティック回帰やランダム森林のような適合した分類器を用いる。
大規模言語モデル(LLM)が近年,プロンプトを通じてこのタスクに適用されている。
本研究では,固定化分類器とLCMを組み合わせて信用デフォルト予測を行う方法について検討する。
我々は LLM に分類器を模倣するように指示するのと, プロンプトを構築するために分類器を使用するのとを区別する。
適合型分類器は、LLMに欠けているランク付け能力を提供することができると仮定する。
我々は、クレジットカードクライアントのデフォルトデータセット、レポートリコール、F1、ROCおよび高精度リコール曲線の領域について、ブートストラップ信頼区間を用いて実験を行った。
数発のLDMは、どのモデルよりも高いリコール(0.47)とF1(0.50)を持っているが、ランダムな森林(AUC-ROC 0.72対0.79)よりも低い。
LLMに分類器を模倣するように指示しても大きな変化はない。
分類器の8つの重要な特徴にプロンプトを割り当てると、0.071とF1は0.032にリコールされる。
プロンプトに分類器の予測確率を追加すると、LSMのAUC-ROCは0.72から0.78に上昇し、ランダムな森林と一致する。
逆合成といくつかの分類器の使用は役に立たない。
そこで我々は,LSMに基づく信用予測のために,簡単な分類器誘導プロンプトを推奨する。
関連論文リスト
- AnchorScore: A CLIP-Based Diagnostic of MLLM Annotation Difficulty [7.105430294335961]
マルチモーダル大言語モデル(MLLM)は自動アノテーションに広く用いられているが、クラスごとの精度は幅広い。
本稿では,MLLMが確実に注釈付けされる可能性が低いクラスの評価を行う,AnchorScoreと呼ばれるフルフレームの定式化を体系的に評価する。
論文 参考訳（メタデータ） (2026-08-17T15:10:33Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - Prompt Framing Distorts Count-Based Evaluation of LLM Error Detection: Evidence from Numeric Anchoring [0.16921396880325776]
本稿では,F1をカウントベースとしたF1が,ローカライゼーションの改善を伴わずに劇的に上昇することを示す。
ErrorBenchは、プロンプト誘起カウント歪みの制御されたストレステストプロトコルである。
本研究は,GPT/Claudeシステムにおいて,GPT/Claudeシステムにおいてより大きいカウント応答と,このストレステストプロトコル下でのジェミニファミリーでのより小さな応答を見出した。
論文 参考訳（メタデータ） (2026-05-03T12:21:42Z) - Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。
LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か?
277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
論文 参考訳（メタデータ） (2026-04-15T14:10:58Z) - Evaluating Large Language Models for Gait Classification Using Text-Encoded Kinematic Waveforms [1.1635287453977645]
LLM(Large Language Models)は、構造化キネマティックデータに適用した場合、説明機能と信頼性に配慮した出力を提供する。
本研究は,テキスト数値列で表される連続歩行運動学を汎用LLMで分類できるかどうかを検証した。
論文 参考訳（メタデータ） (2026-03-04T10:23:35Z) - Enhancing Credit Default Prediction Using Boruta Feature Selection and DBSCAN Algorithm with Different Resampling Techniques [0.0]
本研究では,SMOTE,SMOTE-Tomek,ADASYNの3つの手法を比較し,信用デフォルト予測について検討した。
クレジットデフォルトデータセットが通常歪んでいることを認識して、不均衡なデータ上で機械学習(ML)モデルを評価することから分析を始めました。
論文 参考訳（メタデータ） (2025-09-23T13:43:18Z) - Targeting Alignment: Extracting Safety Classifiers of Aligned LLMs [6.462219916993885]
大規模言語モデル(LLM)のアライメントは、安全性などのガイドラインを強制するために使用される。
しかし、アライメントは、入力を変更して安全でない出力を誘導するjailbreak攻撃に直面して失敗する。
我々は,ジェイルブレイク攻撃のための新しい手法を紹介し,評価する。
論文 参考訳（メタデータ） (2025-01-27T22:13:05Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in
Vision-Language Models [76.410400238974]
モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。
CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。
提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
論文 参考訳（メタデータ） (2023-05-29T11:03:59Z) - Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか?
LLMの事実知識を評価する統計的手法であるKaRRを提案する。
この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
論文 参考訳（メタデータ） (2023-05-17T18:54:37Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-14T09:10:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。