論文の概要: ReFormBench: Benchmarking the Stability of Response-Conditioned Format Correction in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.19693v1
• Date: Wed, 14 Oct 2026 07:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.000144
• Title: ReFormBench: Benchmarking the Stability of Response-Conditioned Format Correction in Large Language Models
• Title（参考訳）: ReFormBench: 大規模言語モデルにおける応答指定フォーマット補正の安定性のベンチマーク
• Abstract要約: ReFormBenchは、大規模言語モデルの信頼性の高い使用のためのベンチマークである。 ターゲットを機能と要求/禁止モードでリンクし、変種間でインスタンス化された要求を評価する。
• 参考スコア（独自算出の注目度）: 19.04924631972484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable use of large language models requires responses to satisfy formatting requirements across changing instructions. Standard compliance scores do not distinguish preserving a model's observed format from correcting it, or reveal whether that correction holds across variants. We introduce ReFormBench, a benchmark that uses each model's unconstrained response to the same question as its formatting baseline. It links targets by feature and require/forbid mode, evaluating their instantiated requirements across variants. ReFormBench comprises 5,000 difficulty-screened three-constraint test instances derived from 910 source questions and covering 66 formatting features. TCPR measures complete instruction compliance, while EMCR measures individual and joint correction of targets opposed to the annotated baseline state. Across ten models, EMCR ranges from 34.04% to 64.72%, and the highest three-target correction estimate is 50.02%. Compliance and correction scores yield different model rankings and task-level profiles. A prompting experiment on Qwen3.5-9B improves both metrics, and the catalog covers over 95% of extracted instances on four additional models. ReFormBench makes response-conditioned correction across instruction variants a measurable dimension of format following. The code and data are available at https://anonymous.4open.science/r/ReFormBench/.
• Abstract（参考訳）: 大規模言語モデルの信頼性の高い使用には、変更命令間のフォーマット要求を満たすための応答が必要である。 標準コンプライアンススコアは、モデルの観察されたフォーマットを保存することと、それを修正することとを区別しない。 ReFormBenchは、フォーマットベースラインと同じ質問に対して、各モデルの制約のないレスポンスを使用するベンチマークです。 ターゲットを機能と要求/禁止モードでリンクし、変種間でインスタンス化された要求を評価する。 ReFormBenchは、910のソース質問と66のフォーマット機能から派生した5000の難読化三制約テストインスタンスで構成されている。 TCPRは完全な命令コンプライアンスを計測し、EMCRは注釈付きベースライン状態とは対照的にターゲットの個人的および共同修正を計測する。 10モデル中、EMCRは34.04%から64.72%の範囲で、最も高い3ターゲット補正推定値は50.02%である。 コンプライアンスと修正のスコアは、異なるモデルランキングとタスクレベルのプロファイルをもたらす。 Qwen3.5-9Bのプロンプト実験は両方の指標を改善し、カタログは4つの追加モデルで抽出されたインスタンスの95%以上をカバーしている。 ReFormBenchは、命令バリアントをまたいだ応答条件の修正を、以下のフォーマットの計測可能な次元にする。 コードとデータはhttps://anonymous.4open.science/r/ReFormBench/で公開されている。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Correctness Is a Direction: Geometric Answer Selection in Language Models [37.52103844741668]
  スコアリング方向がゼロショットログ確率スコアよりも優れていることを示す。 事実推論、ドメイン知識、真性に対する正当性方向は表現空間においてほぼ直交である。
  論文  参考訳（メタデータ） (2026-10-03T13:21:04Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• Towards Robust Time Series Learning via Capacity-Centric Modulation [76.23489485385964]
  本稿では,CCM(Capacity-Centric Modulation)を相補的,サンプル適応正規化原理として提案する。 SACM(Sample-Adaptive Capacity Modulation)は,スペクトル空間の分散を利用して,サンプルワイドドロップアウト確率を割り当てるタスク非依存のフレームワークである。 301個の実世界のデータセット-バックボーンペアのうち、SACMは平均でMSEの予測を6.7%削減し、分類精度を3.04%改善し、ポイント調整されたF1を17.05%改善した。
  論文  参考訳（メタデータ） (2026-09-30T10:51:23Z)
• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking [0.0]
  本稿では,トークン制御プロトコル下での分散について検討し,FSI(Format Sensitivity Index),ラッパー選択による精度範囲,PSI(Parseability Sensitivity Index)の2つの相補的指標を紹介する。 FSIはモデルによって30倍以上の違いがあり、コンプライアンスの失敗によって大きく説明されています。 固定効果回帰は、タスク、モデル、ラッパーを制御した後でも、パーセビリティが高い精度の予測因子であることを示している。
  論文  参考訳（メタデータ） (2026-05-02T22:51:41Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。