論文の概要: IBBench-Light: A Paired Evaluation of Task-Conditioned Responses to External Directives
- arxiv url: http://arxiv.org/abs/2609.13725v1
- Date: Sat, 12 Sep 2026 05:27:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.486007
- Title: IBBench-Light: A Paired Evaluation of Task-Conditioned Responses to External Directives
- Title（参考訳）: IBBench-Light:外部指示に対するタスク要求応答のペア評価
- Abstract要約: IBBench-Lightテストはどちらも同じレコードに対して使用される。
12のセマンティックベースは、モデル毎に144のマッチングペアを生成する。
Qwenは132の実行と109のプロセスプロンプトで成功するが、97の完全なペアしか持たない。
- 参考スコア（独自算出の注目度）: 5.766730891926642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An external record may contain a procedure to apply or text to read, depending on the user's request. IBBench-Light tests both uses against the same record. Twelve semantic bases yield 144 matched pairs per model; four quantized instruction models produced 1,152 archived greedy responses. Paired exact-contract accuracy (PECA) requires both members to satisfy their output contracts. Qwen succeeds on 132 execute and 109 process prompts, but only 97 complete pairs, showing what marginal averages omit. We audit literal-target exposure and case normalization, then add 1,722 logged CPU generations to test directive-absent controls, twelve additional semantic bases, within-base wording changes, and generation stopping. In the pinned Phi rerun, changing the end-of-sequence (EOS) set changes exact paired success from 0/144 to 62/144. A bounded IHEval comparison uses the same SmolLM2 checkpoint and output budget while preserving its published instruction roles and scorer. The benchmark measures conditional task and output-contract success. Its task margins and paired count need to be read together with the stopping policy.
- Abstract（参考訳）: 外部レコードは、ユーザの要求に応じて、申請または読み書きの手順を含むことができる。
IBBench-Lightテストはどちらも同じレコードに対して使用される。
12のセマンティックベースはモデルごとに144個のマッチングペアを生成し、4つの量子化された命令モデルが1,152個のアーカイブされたグリード応答を生成した。
Paired exact-contract accuracy (PECA) は、両方のメンバーが出力契約を満たすことを要求する。
Qwenは132の実行と109のプロセスプロンプトで成功するが、97の完全なペアしかなく、どの限界平均が省略されるかを示している。
リテラル・ターゲットの露出とケースの正規化を監査し、さらに1,722個のログ化されたCPU世代を追加して、ディレクティブ・アビデント・コントロールのテスト、12のセマンティック・ベースの追加、ベース内言語変更、生成停止をテストします。
ピン付きPhi再実行では、EOS(End-of-Sequence)セットが0/144から62/144に変更された。
有界IHEval比較では、同じSmolLM2チェックポイントと出力予算を使用し、発行された命令ロールとスコアラーを保存する。
ベンチマークは条件付きタスクとアウトプット-コントラクトの成功を測定します。
そのタスクマージンとペア化されたカウントは、停止ポリシーとともに読む必要があります。
関連論文リスト
- Same Patient, Different Order: Action-Level Reliability of Clinical LLM Agents Under Repeated Runs [6.442213381552777]
臨床エージェントベンチマークは同一の入力に対して同一の判定を報告でき、エージェントは各ランに対して実質的に異なる順序を出力する。
これは、固定された全ての入力でタスクをリプレイし、スコアではなく注文を比較します。
この研究は、アクションレベルのばらつきが存在することを証明し、スコアによって記録されずに通過できるが、どのレートも一般化するわけではない。
論文 参考訳（メタデータ） (2026-09-11T22:44:35Z) - Threshold Choice, Not Sample Size, Bounds Trustless Verification of Nondeterministic Compound AI Workflows [0.0]
複合AIパイプライン LLMコール、レトリバー、ツールは非決定論的である。
各ステージのインプット、アウトプット、コンテキストのダイジェストをコミットします。
合成HotpotQAパイプラインでは、校正された固定しきい値が45個の正直な複製のうち44個を受け入れ、105個の発散ペアのうち104個を拒絶する。
論文 参考訳（メタデータ） (2026-09-07T22:10:54Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。
テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。
しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。
我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
論文 参考訳（メタデータ） (2026-08-30T17:58:49Z) - Rank-Deviation Quality: A Distance-Aware Metric for Multi-Answer Retrieval and Ranking Evaluation [51.55909067323666]
Rank-Deviation Quality (RDQ) は、検索およびランキングシステムの評価指標である。
検索された基準項目はそれぞれ、ランクずれペナルティによって乗算された出力位置重みに寄与する。
RDQは順序付きランキングで動作し、アノテータはペアワイドまたはリストワイドの判断によって生成することができる。
論文 参考訳（メタデータ） (2026-08-26T03:00:18Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows [2.435006380732194]
ノイズの多いトレースをトラジェクトリにコンパイルする,スキルガイドシステムであるTraceCompilerを提案する。
あらゆるハードエッジは監査可能な証拠を持ち、あいまいな関係が疑われる。
コールの削減を計測するが、オフラインのコンパイルコストはかからない。
論文 参考訳（メタデータ） (2026-08-03T01:05:06Z) - Preventing Premature Commitment in Coding Agents with an Evidence-Conditioned Execution Layer [38.62073085926841]
LLMベースのコーディングエージェントはソースコードを編集したり、変更を正当化するための十分なリポジトリ証拠を調べる前にパッチを提出する。
我々は、エビデンス条件付き実行を実行するために、エージェントとレポジトリの間を介在する実行層であるECLoopを提案する。
論文 参考訳（メタデータ） (2026-07-30T20:16:35Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Skill-as-Pseudocode: Refactoring Skill Libraries to Pseudocode for LLM Agents [50.78646963535282]
Skill-as-Pseudocode (SaP) はマークダウンスキルライブラリの型付き擬似コードへの自動変換である。
1つ以上のスキルから引き出された類似の手続きパスのクラスタごとに、SaPは型付きコントラクトを抽出し、それを4チェック決定性検証器を通じてフィルタリングする。
プロモートされた契約は、復元された具体的なアクションテンプレートと共に書き直されたスキルスケルトンにインライン化され、エージェントは2つの補完的な信号を与える。
論文 参考訳（メタデータ） (2026-05-27T04:48:40Z) - Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs [56.47577824219207]
本稿では,既製の大規模言語モデルを補完して,希望するトークン数を正確に生成するプロンプトベースの戦略を提案する。
プロンプトはカウントダウンマーカーと明示的なカウントルールを付加し、モデルが"カウント中に書き込む"。
MT-Bench-LI では、GPT-4.1 の厳格な長さコンプライアンスは、単純なプロンプトの30%以下から、カウントダウンプロンプトの95%以上へと飛躍する。
論文 参考訳（メタデータ） (2025-08-19T13:12:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。