論文の概要: Structured Prompt Optimization Meets Reinforcement Learning for Global and Local Interpretability over Complex Text
- arxiv url: http://arxiv.org/abs/2605.29076v2
- Date: Tue, 02 Jun 2026 23:33:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 02:49:24.738121
- Title: Structured Prompt Optimization Meets Reinforcement Learning for Global and Local Interpretability over Complex Text
- Title（参考訳）: 複雑なテキストに対するグローバルおよび局所的解釈性のための強化学習を実現する構造化プロンプト最適化
- Authors: Tianyang Zhou, Wenbo Chen, Pierre Jinghong Liang, Leman Akoglu,
- Abstract要約: LLMには高度なテキスト分類があるが、既存のパラダイムはトレードオフに直面している。
我々は,eXTCを3段階に分けて導入し,SOPを学習し,LLMから小型LMへの蒸留を推理し,初期のSOPを超えて推論能力を拡張した。
この設計は、(i)コンパクトなLMによる高速な推論を可能にし、(ii)推論時局所的推論トレースと、(ii)学習されたドメインルールのグローバルなモジュラーな説明と、(iii)分類性能と説明品質の両方において、既存のパラダイムを著しく上回り、ステージバイステージゲインを実現している。
- 参考スコア（独自算出の注目度）: 14.95562040863983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs have advanced text classification, yet existing paradigms face a trade-off: supervised (label only) fine-tuning is scalable but offers limited reasoning on complex text and lacks broader model transparency, while discrete prompt optimization offers human-readable instructions but struggles with performance and scalability. We introduce eXTC (eXplainable Text Classifier) with three progressive stages: (1) learning a Standard Operating Procedure (SOP, or rulebook) in natural language via a new Structured Prompt Optimization algorithm; (2) SOP-grounded reasoning distillation from a large teacher LLM into a compact LM; and (3) expanding reasoning capabilities beyond the initial SOP via reinforcement learning. This design enables eXTC to provide (i) fast inference via a compact LM, with (ii) inference-time local reasoning traces, alongside a global, modular explanation of its learned domain rules, while (iii) significantly outperforming existing paradigms across diverse benchmarks in both classification performance and explanation quality, with stage-by-stage gains.
- Abstract（参考訳）: LLMには高度なテキスト分類があるが、既存のパラダイムはトレードオフに直面している。 教師付き(ラベルのみ)の微調整はスケーラブルだが、複雑なテキストに対する限定的な推論を提供し、より広範なモデルの透明性を欠いている。
我々は,eXTC (eXplainable Text Classifier) を3段階に分けて導入し,(1)新しい構造化プロンプト最適化アルゴリズムを用いて自然言語で標準動作手順(SOP,ルールブック)を学習し,(2) 大規模教師LLMからコンパクトLMへのSOP基底推論蒸留を行い,(3) 強化学習により初期SOPを超えて推論能力を拡張した。
この設計により eXTC は
(i)コンパクトLMによる高速推論
(ii) 学習ドメインルールのグローバルなモジュラーな説明とともに、推論時局所推論トレース
3) 分類性能と説明品質の両面で,様々なベンチマークにおいて既存パラダイムを著しく上回り,ステージごとの利得が得られた。
関連論文リスト
- BoolXLLM: LLM-Assisted Explainability for Boolean Models [6.97075461976982]
解釈可能な機械学習は、意思決定プロセスが人間が容易に理解できる透明なモデルを提供することを目的としている。
i)意味的に意味のある特徴を選択し、(ii)形式論理規則をアクセス可能な説明に翻訳する。
ブールルール学習のエンドツーエンドパイプラインに大規模言語モデルを統合するハイブリッドフレームワークとして,BoolXLLMを提案する。
論文 参考訳（メタデータ） (2026-05-12T13:58:20Z) - Joint Semantic Token Selection and Prompt Optimization for Interpretable Prompt Learning [57.91658393667469]
Interpretable Prompt Learningは、個別の意味トークンの選択と連続的なプロンプト最適化を交互に行うハイブリッドフレームワークである。
我々のフレームワークはプラグイン・アンド・プレイであり、既存の即興学習手法とシームレスに統合できる。
論文 参考訳（メタデータ） (2026-05-06T02:38:59Z) - $\mathcal{S}^2$IT: Stepwise Syntax Integration Tuning for Large Language Models in Aspect Sentiment Quad Prediction [51.165432266846096]
構文構造情報は、大言語モデル(LLM)の生成パラダイムにおいて未利用である
S2ITは、多段階のチューニングプロセスを通じて、構文構造知識をLLMに徐々に統合する。
実験により、S2ITは複数のデータセットにわたる最先端のパフォーマンスを大幅に改善することが示された。
論文 参考訳（メタデータ） (2026-04-25T13:24:29Z) - Search-R3: Unifying Reasoning and Embedding Generation in Large Language Models [11.39711340224126]
Search-R3は、Large Language Modelsを適用して、彼らの推論プロセスの直接出力として検索埋め込みを生成する新しいフレームワークである。
我々のアプローチはLLMのチェーン・オブ・シント機能を利用しており、複雑な意味解析を通じてステップ・バイ・ステップを推論することでより効果的な埋め込みを実現できる。
論文 参考訳（メタデータ） (2025-10-08T14:16:20Z) - Enhancing Large Language Models through Structured Reasoning [15.472375478049823]
本稿では,Large Language Models (LLM) を明示的構造化推論により拡張する新しい手法を提案する。
まず、非構造化データを明示的に推論ステップをアノテートすることで構造化形式に変換する。
次に、この構造化データセットを使用して、監視ファインチューニング(SFT)を通してLLMをトレーニングする。
論文 参考訳（メタデータ） (2025-06-25T08:36:12Z) - CSE-SFP: Enabling Unsupervised Sentence Representation Learning via a Single Forward Pass [3.0566617373924325]
プレトレーニング言語モデル(PLM)の最近の進歩は、この分野において顕著な進歩をもたらした。
CSE-SFPは,生成モデルの構造的特徴を利用する革新的な手法である。
CSE-SFPは高品質な埋め込みを実現するだけでなく、トレーニング時間とメモリ消費を著しく削減する。
論文 参考訳（メタデータ） (2025-05-01T08:27:14Z) - Large Language Models are Interpretable Learners [53.56735770834617]
本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。
自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。
LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
論文 参考訳（メタデータ） (2024-06-25T02:18:15Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳（メタデータ） (2023-12-22T19:55:58Z) - kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。
LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。
本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-17T17:26:50Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。