論文の概要: Correct Choices, Failed Sequences: Choice2Seq Benchmarks Correctness Retention Across Output Interfaces

• arxiv url: http://arxiv.org/abs/2610.16191v1
• Date: Mon, 12 Oct 2026 05:11:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.312405
• Title: Correct Choices, Failed Sequences: Choice2Seq Benchmarks Correctness Retention Across Output Interfaces
• Title（参考訳）: 正しい選択と失敗シーケンス: Choice2Seq ベンチマークによる出力インターフェース全体の正確性保持
• Abstract要約: モデルは正しい答えを選択できるが、局所的な決定によってそれを構築できない。 Choice2Seqは、完全回答選択とシーケンシャルな構成の正当性保持を測定する診断ベンチマークである。
• 参考スコア（独自算出の注目度）: 7.335061702677387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A model may select the correct answer yet fail to construct it through a sequence of local decisions. We introduce Choice2Seq, a diagnostic benchmark that measures correctness retention across complete-answer selection and sequential construction in independent runs on the same problems and candidate sets. Sequence Composition Rate (SCR) measures the fraction of correctly selected items that are also answered correctly through local construction. Jev achieves 97.1% and 99.5% selection accuracy on arithmetic and lexical retrieval, yet retains only 33.0% and 2.1% of those correct choices under serial construction, respectively. Substantial gaps also emerge for StartLux and Qwen, including when Qwen emits characters directly. Restricting local options to candidate-supported characters improves construction, while explicit position indexing improves copying fidelity, even for incorrect selections. These interventions distinguish task correctness, plan fidelity, and output compliance. Matched dialogue-state evaluations reveal that local field construction largely preserves Jev's correct states but reduces Qwen's mean-turn accuracy, highlighting task- and interface-dependent differences. Sequence-level confidence and request-cost analyses further characterize completed outputs.
• Abstract（参考訳）: モデルは正しい答えを選択できるが、局所的な決定によってそれを構築できない。 Choice2Seqは、完全回答選択と、同じ問題と候補セット上での独立実行における逐次構成の正当性保持を測定する診断ベンチマークである。 シーケンス構成率(SCR)は、局所的な構成によっても正しく答えられる正しい選択された項目の比率を測定する。 Jevは算術と語彙検索において97.1%と99.5%の選択精度を達成しているが、シリアル構成ではこれら正しい選択の33.0%と2.1%しか保持していない。 StartLux と Qwen にも、Qwen が文字を直接出力するなど、実質的なギャップが生じる。 候補が支持する文字に対するローカルオプションの制限は、構成を改善する一方、明示的な位置インデックス付けは、不正な選択であっても、コピーの忠実さを改善する。 これらの介入は、タスクの正しさ、計画の忠実さ、および出力コンプライアンスを区別する。 一致した対話状態の評価により、局所的なフィールド構造はJevの正しい状態をほとんど保存するが、Qwenの平均旋回精度を低下させ、タスク依存とインタフェース依存の違いを強調させる。 シーケンスレベルの信頼性と要求コストの分析により、出力はさらに特徴付けられる。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• JET: Justification Evaluation in Transformer [0.0]
  JETは、事前訓練された言語とビジョン言語モデルを使用して、追加のトレーニングなしで、有限の回答の中から選択する。 Qwen3.6-35B-A3Bは完全なMMLUテストセットで87.48%の精度を達成し、別途MMLUサブセットで毎秒3.69リクエストを処理している。
  論文  参考訳（メタデータ） (2026-09-27T19:50:08Z)
• Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
  多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。 我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
  論文  参考訳（メタデータ） (2026-09-24T11:16:53Z)
• Route-Verify-Vote: Procedure-Conditioned Self-Consistency for Mixed-Domain Reasoning [0.0]
  Route-Verify-Vote (RVV) は手続き条件付き自己整合性のためのフレームワークである。 RVVは完全な回答セットを集約し、質問に追加のサンプルを割り当てる。 公式なテストセットでは、質問毎に16以上のサンプリングされた回答セットが74.6%の正確なセットの精度を達成する。
  論文  参考訳（メタデータ） (2026-09-23T16:14:38Z)
• Optimizing the Score, Losing Sight of the Task: Reward Hacking Across Weights, Selection, and Prompts [0.0]
  プロキシエラーに対する到達可能な動作、最適化予算、永続的な適応形状の露出について示す。 正確な有限出力図示は、スコアリング欠陥の位置が各メソッドが好む振る舞いをどう変えるかを示す。 結果として得られるフレームワークは、最適化の選択と検証要件を結びつける。
  論文  参考訳（メタデータ） (2026-09-22T08:12:58Z)
• Accuracy and Order Sensitivity Diverge Under Label-Free Strategies [4.127762845164668]
  複数選択ベンチマークは、大きな言語モデルを評価するために広く使われている。 複数の選択は、選択順序に対する感度で知識を分割する。 本稿では,モデルが回答をコミットしながらオプションラベルを見るのを防ぐことが,位置の影響を除去するかどうかを検証する。
  論文  参考訳（メタデータ） (2026-08-12T11:34:45Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。