論文の概要: Can Decision Models Understand Stance? Evaluating Jev Against General-Purpose LLMs

• arxiv url: http://arxiv.org/abs/2610.11901v1
• Date: Thu, 08 Oct 2026 13:05:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.036768
• Title: Can Decision Models Understand Stance? Evaluating Jev Against General-Purpose LLMs
• Title（参考訳）: 意思決定モデルはスタンスに耐えられるか? 汎用LLMに対するJevの評価
• Abstract要約: Jevは、構造化された意思決定のために設計された、特別な決定モデルである。 我々は、VAST(英語テキスト)とZS-CSD(中国語会話)の2つのスタンス検出データセット上でJevを評価する。
• 参考スコア（独自算出の注目度）: 33.1144990003958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stance detection requires identifying an author's attitude toward a given target, sometimes based on conversational context. Jev, a specialized decision model designed for structured decision-making, offers an alternative to general-purpose large language models (LLMs). In this work, we evaluate Jev on two stance detection datasets, VAST (English texts) and ZS-CSD (Chinese conversations), comparing it with four general-purpose LLMs and two fine-tuned models. Results show that Jev achieves competitive performance on VAST, matching GPT-5.6 and outperforming the other general-purpose LLMs. However, it falls behind stronger LLMs on ZS-CSD, particularly in distinguishing favor from against. Further analysis suggests that this limitation may be related to understanding reply relationships and stance direction rather than conversation length alone. These findings highlight both the potential and limitations of Jev for stance detection.
• Abstract（参考訳）: スタンス検出には、ある目標に対する著者の態度を特定する必要がある。 構造化された意思決定のために設計された特殊な決定モデルであるJevは、汎用的な大規模言語モデル(LLM)に代わるものを提供する。 本研究では,VAST(英語テキスト)とZS-CSD(中国語会話)の2つのスタンス検出データセットを用いて,Jevを4つの汎用LLMと2つの微調整モデルと比較した。 Jev は VAST 上で GPT-5.6 に適合し,他の汎用 LLM よりも優れていた。 しかし、特にZS-CSDに対する好意を区別するために、ZS-CSDの強力なLCMより遅れている。 さらに分析したところ、この制限は会話の長さだけでなく、応答関係や姿勢方向の理解に関連している可能性が示唆された。 これらの結果は,姿勢検出におけるJevの可能性と限界の両方を浮き彫りにした。

関連論文リスト

• Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
  本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。 我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。 以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-28T01:31:54Z)
• HellaSwag-Pro: A Large-Scale Bilingual Benchmark for Evaluating the Robustness of LLMs in Commonsense Reasoning [56.221060995324436]
  大規模言語モデル(LLM)は、常識推論において顕著な能力を示している。 これらのモデルは、本当に常識的知識を理解しているのか、あるいは単に表現パターンを記憶しているだけなのか? 11,200のケースからなる大規模バイリンガルベンチマークであるHellaSwag-Proを紹介する。
  論文  参考訳（メタデータ） (2025-02-17T03:24:02Z)
• Is LLM an Overconfident Judge? Unveiling the Capabilities of LLMs in Detecting Offensive Language with Annotation Disagreement [22.992484902761994]
  本研究では,攻撃言語検出における多言語モデル(LLM)の性能を系統的に評価する。 本研究では,二項分類の精度を分析し,モデル信頼度と人的不一致度の関係を検証し,不一致サンプルがモデル決定にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2025-02-10T07:14:26Z)
• Reasoning Paths with Reference Objects Elicit Quantitative Spatial Reasoning in Large Vision-Language Models [61.899791071654654]
  定量的空間的推論のために設計された5つのカテゴリに271の質問があるベンチマークQ-Spatial Benchを導入する。 本課題における最先端の視覚言語モデル(VLM)の性能について検討する。 本研究では,参照オブジェクトを視覚的手がかりとして,VLMが量的空間的疑問に答えることを奨励するゼロショットプロンプト技術であるSpatialPromptを開発した。
  論文  参考訳（メタデータ） (2024-09-15T16:45:42Z)
• Language Models can Evaluate Themselves via Probability Discrepancy [38.54454263880133]
  様々な大規模言語モデル(LLM)の有効性を評価するための自己評価手法ProbDiffを提案する。 テスト中のLSMを、初期応答と修正バージョンの間の確率差を計算するために独自に利用する。 以上の結果から, ProbDiff は GPT-4 に基づく評価結果と同等の結果を得た。
  論文  参考訳（メタデータ） (2024-05-17T03:50:28Z)
• Sentiment Analysis through LLM Negotiations [58.67939611291001]
  感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。 本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-03T12:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。