論文の概要: Where Do Test-Time Scaling and Training Fall Short in Individual Stance Prediction?

• arxiv url: http://arxiv.org/abs/2609.33155v1
• Date: Sun, 27 Sep 2026 03:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:01:03.989778
• Title: Where Do Test-Time Scaling and Training Fall Short in Individual Stance Prediction?
• Title（参考訳）: テストタイムのスケーリングとトレーニングは,個々のスタンス予測で不足するのか?
• Abstract要約: 我々は,広く利用されているテストタイムスケーリング戦略とポストトレーニング手法を評価した。 生成、選択、学習の4つの障害モードを特定します。 我々は、すべての候補者の姿勢に対する直接的なスコアと、サポートの明示的な評価を組み合わせた、シンプルなアプローチを探求する。
• 参考スコア（独自算出の注目度）: 15.54798532516893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time scaling and post-training have improved LLM performance in coding and mathematical reasoning, but their effectiveness for individual stance prediction remains unclear. We study this question by predicting a person's stance in a new discussion from their history. We evaluate widely used test-time scaling strategies and post-training methods, such as supervised fine-tuning and reinforcement learning, and identify four failure modes across generation, selection, and learning: (1) incorrect consensus, where repeated samples agree on the wrong stance; (2) selection failure, where generation covers the observed stance but selection misses it; (3) response overfitting, where supervised fine-tuning improves imitation but harms prediction; and (4) early plateau, where reinforcement learning shows modest initial gains followed by limited further improvement. We expose these failures using STANCE-BENCH, which contains 2499 prediction tasks from 500 Hacker News users. Guided by this analysis, we explore a simple approach that combines direct scores for all candidate stances with explicit assessments of support from the individual's history. On the 781-task test set, this approach achieves 21.83 discussion-specific Macro F1 with Qwen3-8B, compared with 19.27 for direct scoring. Our results motivate evaluating candidate generation, final selection, and person-specific evidence use separately.
• Abstract（参考訳）: テストタイムのスケーリングとポストトレーニングにより、コーディングや数学的推論におけるLLMのパフォーマンスが向上したが、個々の姿勢予測の有効性は未定である。 我々は,その歴史から新たな議論において,その人の姿勢を予測することによって,この問題を考察する。 筆者らは, 教師付き微調整, 強化学習などのテスト時間スケーリング戦略やポストトレーニング手法を評価し, 生成, 選択, 学習の4つの障害モードを同定した。(1) 繰り返しサンプルが間違った姿勢で一致している不正確なコンセンサス, (2) 生成が観察された姿勢をカバーしている選択失敗, (3) 教師付き微調整が模倣を改善するが予測を損なう応答オーバーフィッティング, (4) 強化学習が適度な初期利得を示す早期高原, および、さらなる改善がみられた。 我々は、500 Hacker Newsユーザーによる2499の予測タスクを含むSTANCE-BENCHを使用して、これらの障害を公開する。 この分析で導かれたアプローチは、すべての候補者の姿勢に対する直接的なスコアと、個人の歴史からの支持を明確に評価する単純なアプローチである。 781タスクのテストセットでは、Qwen3-8Bを用いた21.83の議論固有のマクロF1を、直接スコアの19.27と比較する。 その結果, 候補生成, 最終選択, 個人固有のエビデンスを別々に評価することの動機となった。

関連論文リスト

• Future-as-Label: Scalable Supervision from Real-World Outcomes [0.0]
  時が自由な監督を生み出す: 現実の出来事に関する予測は、検証可能な結果に解決する。 我々は、実世界の予測に時間をかけて検証可能な報酬で強化学習を拡張した。 我々は、因果的にマスキングされた情報から確率予測を行うために言語モデルを訓練する。
  論文  参考訳（メタデータ） (2026-01-09T22:15:12Z)
• Improving Prediction Certainty Estimation for Reliable Early Exiting via Null Space Projection [16.838728310658105]
  本稿では,Certainty-Aware Probability (CAP)スコアに基づく新しい早期退避手法を提案する。 本研究では,各タスクの平均高速化率は2.19倍であり,性能劣化は無視できることを示す。
  論文  参考訳（メタデータ） (2025-06-08T05:08:34Z)
• Focus on the Likely: Test-time Instance-based Uncertainty Removal [1.8592384822257952]
  本研究では,不確実なモデル予測を改善するための2つの新しいテスト時間微調整手法を提案する。 最も可能性の高いクラスを欲求的に選択する代わりに、予測を洗練させるために、潜在的クラスに関する追加のステップであるemphfocusを導入する。
  論文  参考訳（メタデータ） (2025-05-02T21:06:53Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
  音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。 本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。 アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-23T02:11:24Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Selective Prediction via Training Dynamics [31.708701583736644]
  本研究では,モデルのトレーニング力学を学習することで,最先端の選択的予測性能が得られることを示す。 特に、トレーニングの後半段階で最終予測と大差ないデータポイントを拒否する。 提案された拒絶機構はドメインに依存しない(すなわち、離散予測と実数値予測の両方に有効)、既存の選択的予測手法と柔軟に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-05-26T17:51:29Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。