論文の概要: MoPrO-SD: Modular Prompt Optimization for Stance Detection
- arxiv url: http://arxiv.org/abs/2610.13386v1
- Date: Fri, 09 Oct 2026 11:00:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.543738
- Title: MoPrO-SD: Modular Prompt Optimization for Stance Detection
- Title(参考訳): MoPrO-SD: スタンス検出のためのモジュール型プロンプト最適化
- Abstract要約: スタンス検出は、暗黙の意見、皮肉、文脈に依存したスタンス表現によって、大きな言語モデルにとって困難である。
我々は,プロンプトを機能的セマンティックモジュールに分解するスタンス固有のプロンプト最適化フレームワークであるMoPrO-SDを紹介する。
本稿では,命令のみの最適化(I),推論付き命令(I+R),サンプル単位の推論を用いた命令(I+R+E)の3つの改良戦略について検討する。
- 参考スコア(独自算出の注目度): 39.69987233976982
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Stance detection remains challenging for large language models (LLMs) due to implicit opinions, sarcasm, and context-dependent expressions of stance. Although automatic prompt optimization offers an alternative to fine-tuning without updating model parameters, existing structured approaches are not specifically designed around stance-label semantics and class-specific ambiguities. We introduce MoPrO-SD, a stance-specific prompt optimization framework that decomposes prompts into functional semantic modules and refines them sequentially using LLM-based feedback. We study three refinement strategies: instruction-only optimization (I), instruction with reasoning (I+R), and instruction with per-example reasoning (I+R+E), using class-conditioned errors for stance-label refinement. We also introduce VaccineStance, a new human-annotated benchmark for vaccine stance detection. Experiments across four datasets and five open-weight LLMs show that MoPrO-SD improves upon the human-written Base prompt in many settings. On SemEval-2016, class-conditioned feedback achieves higher mean Macro-F1 than pooled feedback for four of five backbones. Both reasoning-based strategies, I+R and I+R+E, achieve strong performance, with their relative effectiveness varying across models and datasets, while remaining competitive with recent prompt optimization methods. The MoPrO-SD code and VaccineStance dataset are available on GitHub.
- Abstract(参考訳): 大規模言語モデル(LLM)では、暗黙の意見、皮肉、文脈に依存したスタンス表現により、スタンス検出は依然として困難である。
自動プロンプト最適化は、モデルパラメータを更新せずに微調整の代替を提供するが、既存の構造化アプローチは、スタンスラベルのセマンティクスやクラス固有の曖昧さに特化して設計されていない。
このフレームワークは,プロンプトを機能的セマンティックモジュールに分解し,LCMに基づくフィードバックを用いて順次改良する。
本稿では,命令のみの最適化(I),推論付き命令(I+R),例ごとの推論付き命令(I+R+E)の3つの改良戦略について,クラス条件の誤りを用いて検討する。
VaccineStanceも紹介します。ワクチンのスタンス検出のための人手による新しいベンチマークです。
4つのデータセットと5つのオープンウェイトLCMにわたる実験により、MoPrO-SDは多くの設定で人書きのBaseプロンプトを改善することが示された。
SemEval-2016では、クラス条件のフィードバックは5つのバックボーンのうち4つのプールされたフィードバックよりも平均的なマクロF1を達成する。
推論ベースの戦略であるI+RとI+R+Eは、モデルやデータセットによって相対的な効果が異なり、最近の迅速な最適化手法と競合する。
MoPrO-SDコードとVaccineStanceデータセットはGitHubで公開されている。
関連論文リスト
- Prompt Optimization Via Diffusion Language Models [73.9599434962714]
本稿では,迅速な最適化のための拡散型フレームワークを提案する。
本手法は,下流言語モデルへのアクセスや変更を必要とせずに,フレキシブルかつスパンレベルのプロンプト更新を可能にする。
適度な拡散ステップ数によって、精製品質と安定性のバランスが良くなることを示す。
論文 参考訳(メタデータ) (2026-01-30T00:00:54Z) - What Matters in LLM-Based Feature Extractor for Recommender? A Systematic Analysis of Prompts, Models, and Adaptation [14.788780469735242]
LLM-as-feature-extractorパイプラインを4つのモジュールに分解するモジュールフレームワークであるRecXploreを提案する。
新しいテクニックを提案する代わりに、RecXploreは確立したメソッドを再検討し、整理し、各モジュールを分離して体系的な探索を可能にする。
実験の結果、既存の技術から得られる最良の設計を組み合わせるだけで、NDCG@5が18.7%、HR@5が12.7%向上することがわかった。
論文 参考訳(メタデータ) (2025-09-18T14:08:45Z) - OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning [25.76983801886268]
本稿では,OAT-Rephraseについて紹介する。
OAT-RephraseはMeZOの微調整性能を常に改善することを示す。
提案手法は,ゼロ階調音システムにおける再利用可能な低オーバヘッド向上に有効であることが示唆された。
論文 参考訳(メタデータ) (2025-06-10T02:53:04Z) - SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。
実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
論文 参考訳(メタデータ) (2024-12-16T09:47:43Z) - Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。
提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。
語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文 参考訳(メタデータ) (2024-11-04T06:07:53Z) - Offline Regularised Reinforcement Learning for Large Language Models Alignment [33.483481840098925]
我々はフレームワークと関連するアルゴリズムとしてDRO(emphDirect RewardOptimization)を提案する。
DROは、様々な方法で実装できる単純な平均2乗の目的を使用する。
論文 参考訳(メタデータ) (2024-05-29T14:11:29Z) - Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。