論文の概要: Seq@K: Evaluating Language Models Under Sequential Feedback
- arxiv url: http://arxiv.org/abs/2610.37859v1
- Date: Tue, 27 Oct 2026 19:04:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.904407
- Title: Seq@K: Evaluating Language Models Under Sequential Feedback
- Title（参考訳）: Seq@K: 逐次フィードバックによる言語モデルの評価
- Abstract要約: ここでは,モデルがKシーケンシャルな試みで解けるかどうかを測定するプロトコルであるSeq@Kを紹介する。
Seq@Kは、非常に異なるモデル選択のランドスケープを示す。
さらに,Seq@Kに基づくモデル軌道解析は反復的洗練挙動の特徴づけに有効であることを示す。
- 参考スコア（独自算出の注目度）: 11.869906466487416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-model agents differ fundamentally from prior intelligent systems in their ability to learn from natural language in context. This capability enables agents to iteratively refine their answers in response to feedback, a prevalent mode of operation in modern agentic workflows. However, the community primarily ranks models by metrics such as Pass@1 or Pass@K, which cannot capture how they utilize feedback on prior attempts. We introduce Seq@K, a natural evaluation protocol that measures whether a model can solve a problem within K sequential attempts, provided feedback after each previous failure. Unlike multi-turn agentic benchmarks that examine long-horizon planning, Seq@K isolates and formalizes the core capability of refinement from feedback. We evaluate Seq@K on a suite of 7 benchmarks and 16 frontier models, and show that Seq@K reveals a materially different model-selection landscape: under Seq@K, (1) model rankings often differ, (2) the Pareto frontiers admit more efficient configurations and (3) the gains from choosing the optimal model configuration can widen or shrink relative to those of Pass@K. We further show that analyzing model trajectories under Seq@K helps characterize iterative refinement behavior, such as the rate at which models address issues raised in feedback, or how rigidly they hold onto their own answers. Finally, we study how the nature of feedback affects models' iterative refinement, showing that practitioners must carefully design and benchmark the feedback loops of iterative agentic systems. Together, these results establish how Seq@K offers a more faithful metric for intelligent systems that typically operate in such feedback loop, and the necessity to consider Seq@K in evaluating models for these systems.
- Abstract（参考訳）: 言語モデルエージェントは、文脈において自然言語から学ぶ能力において、従来のインテリジェントシステムと根本的に異なる。
この能力により、エージェントは、現代のエージェントワークフローにおける一般的な操作モードであるフィードバックに応答して、回答を反復的に洗練することができる。
しかし、コミュニティは主にPass@1やPass@Kのようなメトリクスでモデルをランク付けしている。
本稿では,モデルがKシーケンシャルな試みで解決できるかどうかを判断する自然評価プロトコルであるSeq@Kを紹介する。
長期計画を調べるマルチターンエージェントベンチマークとは異なり、Seq@Kはフィードバックから改善のコア能力を分離し、フォーマルにする。
Seq@Kでは,(1)モデルランキングはしばしば異なり,(2)Paretoフロンティアはより効率的な構成を認め,(3)最適なモデル構成を選択することで得られる利益は,Pass@Kと比較して拡大あるいは縮小することができる。
さらに,Seq@Kに基づくモデル軌跡の分析は,モデルがフィードバックで発生した問題に対処する頻度や,それらがいかに厳密な回答を保っているかなど,反復的洗練行動の特徴付けに役立つことを示す。
最後に,フィードバックの性質がモデルの反復的洗練に与える影響について検討し,反復的エージェントシステムのフィードバックループを慎重に設計し,ベンチマークする必要があることを示す。
これらの結果は、一般的にそのようなフィードバックループで動作するインテリジェントなシステムに対して、Seq@Kがより忠実なメトリクスを提供する方法と、これらのシステムのモデルを評価する上で、Seq@Kを考える必要性を明確にする。
関連論文リスト
- On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。
本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。
実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
論文 参考訳（メタデータ） (2026-05-12T11:33:49Z) - Debiased Model-based Representations for Sample-efficient Continuous Control [36.705558101460205]
本稿では,Q-learning, タグ付きDR.Qアルゴリズムのためのデバイアスモデルに基づく表現を提案する。
DR.Qは、現在の状態-作用対と次の状態の表現の間の相互情報を明示的に最大化する。
我々の結果によると、DR.Qは最近の強いベースラインと一致または超えることができ、時には大きなマージンでそれらを上回ります。
論文 参考訳（メタデータ） (2026-05-12T08:02:34Z) - STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。
我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。
MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-08-26T08:47:58Z) - Temporal Self-Rewarding Language Models: Decoupling Chosen-Rejected via Past-Future [38.1810626252963]
自己回帰言語モデル(Self-Rewarding Language Models)は、LLM-as-a-Judgeプロンプトを通じて、大きな言語モデル(LLM)が応答を生成し、独自の出力を評価するアーキテクチャを提案する。
本研究では,過去,現在,将来のモデル世代を戦略的に調整し,学習信号を持続するテキストbf自己回帰言語モデルを提案する。
論文 参考訳（メタデータ） (2025-08-08T05:25:54Z) - Delphos: A reinforcement learning framework for assisting discrete choice model specification [0.0]
我々は、個別選択モデル仕様プロセスを支援するための深層強化学習フレームワークであるDelphosを紹介する。
この設定では、エージェントは、モデリングアクションのシーケンスを選択して、良好なパフォーマンスのモデル候補を特定することを学習する。
我々は,モデル空間と報酬関数のサイズを変化させ,シミュレーションと経験的データセットの両方でDelphosを評価した。
論文 参考訳（メタデータ） (2025-06-06T15:40:16Z) - Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
現代の言語モデル(LM)は、能力評価において新たな課題を提起する。
メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
論文 参考訳（メタデータ） (2024-07-22T17:52:12Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - HANS, are you clever? Clever Hans Effect Analysis of Neural Systems [1.6267479602370545]
大規模言語モデル(It-LLM)は、認知状態、意図、そしてすべての人々の反応を推論する優れた能力を示しており、人間は日々の社会的相互作用を効果的にガイドし理解することができる。
モデル能力の確固たる評価を構築するために、MCQ(Multiple-choice Question)ベンチマークがいくつか提案されている。
しかし、初期の研究は、I-LLMに固有の「順序バイアス」があることを示しており、適切な評価に挑戦している。
論文 参考訳（メタデータ） (2023-09-21T20:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。