論文の概要: The Company a Question Keeps: Auditing Open Jev-Style Models for Retrieval
- arxiv url: http://arxiv.org/abs/2610.14631v1
- Date: Sat, 10 Oct 2026 06:29:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:33:53.775492
- Title: The Company a Question Keeps: Auditing Open Jev-Style Models for Retrieval
- Title（参考訳）: 会社に質問: 検索のためのオープンなJev-Styleモデルの検討
- Abstract要約: Jevの文書化されたインターフェイスは、共有されたエビデンスに対して独立して型付き質問を評価する。
我々は,92のTREC検索クエリから,276のオープンなJevスタイルのチェックポイントにおいて,要求の独立性を監査する。
- 参考スコア（独自算出の注目度）: 1.9527291999895944
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Jev's documented interface evaluates typed questions independently against shared evidence. We audit request independence in seven open Jev-style checkpoints on 276 constructed three-passage states from 92 TREC retrieval queries. Paired interventions separately change requested questions, displayed evidence, and candidate eligibility. Request expansion induces strict binary flips in 9.1%/8.0% of Nimble's judgments and changes 21.4%/18.9% of selection-or-abstention actions in TREC DL2019/2020 under a threshold of 0.5 fixed before inference. Correct-action rates change by 0.0/+8.2 percentage points, respectively, with 95% query-bootstrap intervals of [-6.0,6.0] and [3.8,12.6]. Field masking traces all 70 request-set flips to the schema fields serialized into each scoring prompt. In Von, fixing a shared separator's position eliminates two eligibility-induced preference flips in selected diagnostic states. Laya-typed's default CUDA path produces five passage swaps without strict binary flips, and both yearly action-change intervals include zero; in an FP32 rerun, its probability movement vanishes at the model's four-decimal reporting resolution.
- Abstract（参考訳）: Jevの文書化されたインターフェイスは、共有されたエビデンスに対して独立して型付き質問を評価する。
我々は,92のTREC検索クエリから,276のオープンなJevスタイルのチェックポイントにおいて,要求の独立性を監査する。
障害のある介入は、要求された質問を別々に変更し、証拠を示し、候補者の資格を付与する。
要求拡大は、ニブルの判断の9.1%/8.0%で厳格な二分フリップを誘導し、推論前に0.5の閾値でTREC DL2019/2020における選択または無視行動の21.4%/18.9%を変更する。
正しい行動率は、それぞれ0.0/+8.2ポイント変化し、95%のクエリブートストラップ間隔は [-6.0,6.0] と [3.8,12.6] となる。
フィールドマスキングは70のリクエストセットのフリップをすべて、各スコアリングプロンプトにシリアライズされたスキーマフィールドにトレースする。
Vonでは、共有セパレータの位置を固定すると、選択された診断状態において2つの可視性による選好フリップが排除される。
Laya-typedのデフォルトのCUDAパスは、厳密なバイナリフリップなしで5つのパススワップを生成する。
関連論文リスト
- VIGIL: Verifier-Informed Gated Improvement Loop for Spreadsheet Question Answering [6.4443425508730625]
企業エージェントは、すべての修正がシステムの振る舞いを書き換えることなく、遅延したフィードバックから改善すべきである。
コーパスレベルのスプレッドシート質問応答に対する連続的ハーネス学習について検討した。
金のワークブックと期待されたタイプが供給されたことにより、アンゲートとデュアルゲートのフルリプレイは79の文書に対して82.4%と82.0%の精度に達した。
論文 参考訳（メタデータ） (2026-10-03T04:41:40Z) - Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。
ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。
10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
論文 参考訳（メタデータ） (2026-10-02T14:36:46Z) - ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation [35.56656941794163]
本稿では,選択的生成モデレーションにより候補推論を再利用する学習自由推論手法であるRegenerative ablationを紹介する。
個別にサンプリングされた2つの候補プールを用いて評価された130の競合数学問題のハイブリットスコアでは、Reは100と99の正解を得るが、同じ4つの候補に対して91と92が投票する。
論文 参考訳（メタデータ） (2026-10-01T06:19:29Z) - Exact Finite Attention Responses From RoPE Derivatives [0.0]
我々は、注意介入のための正確なローカル応答を導き、キャッシュされたベースラインと1つの後方パスから候補編集を採点できる。
その結果、92,160回の位置編集で95.36-96.52%の符号精度が得られた。
論文 参考訳（メタデータ） (2026-09-12T20:15:37Z) - Abstention Errors and Segment Support in CUAD: An Auditable Contract-Extraction Case Study [0.0]
本稿では,CUAD が発行した 102-contract test split に対する固定公開 RoBERTa チェックポイントの再現性評価について述べる。
30,464の返却候補文字列のうち19,562は注釈付き回答のない質問に現れる。
このシステムは2,938問のうち1,335問に答え、45.4%が偽陽性である。
論文 参考訳（メタデータ） (2026-09-07T21:26:53Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving [0.0]
言語モデルの安全性評価は、サービス構成を固定されたバックグラウンドインフラストラクチャとして扱うことが多い。
我々は4つのアーティファクト支援研究をペアテストプロトコルに合成する。
標準vLLMは、現在のスコアフリップ候補に対して22/55ラベルのフリップを再生し、VLLM_BATCH_INIANT=1を有効にすることで、同じテストを0/55フリップに削減する。
論文 参考訳（メタデータ） (2026-05-26T23:22:55Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。