論文の概要: Do Evidence-Reading Diagnostics Improve Interface Selection in Small LLM Recommenders?

• arxiv url: http://arxiv.org/abs/2609.37472v1
• Date: Fri, 25 Sep 2026 19:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.516673
• Title: Do Evidence-Reading Diagnostics Improve Interface Selection in Small LLM Recommenders?
• Title（参考訳）: LLMレコメンダにおけるエビデンス読み取り診断はインタフェース選択を改善するか?
• Abstract要約: 我々は,4つの推奨領域にまたがる6つの小さなチェックポイントを,時系列評価と3,426名の評価ユーザを用いて評価した。 ベースラインセレクタは、履歴のみのプロンプトの中から選択し、協調的なエビデンスを誘導し、融合をスコアする。 拡張セレクタは、モデルにサポート数の比較を求める6つのエビデンス読み取りプロンプトの機能を追加する。
• 参考スコア（独自算出の注目度）: 10.720985236309462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Behavioral tests measure how a language model reads evidence. We ask whether those measurements help choose a recommendation interface. We evaluate six small instruction-tuned checkpoints across four recommendation domains with chronological evaluation and 3,426 evaluation users. Each request ranks eight candidates. A baseline selector chooses among history-only prompting, prompting with collaborative evidence, and score fusion. It uses observable features and six stability prompts that vary wording and candidate order. An augmented selector adds features from six evidence-reading prompts that ask the model to compare support counts. An interface chosen once on development (validation) data for each domain and checkpoint scores 0.5524 NDCG@5, compared with 0.5447 for the baseline selector and 0.5428 for the augmented selector. Adding the diagnostic features changes NDCG@5 by -0.0019 (95% interval [-0.0046, 0.0004]). The interval includes zero, and its upper bound is below the analysis plan's 0.005 improvement target. Matching the selectors' hyperparameters also leaves the interval upper bound below that target. Evidence from retrieved similar users improves prompting by 0.0999 NDCG@5 over a control using randomly selected users matched for activity. The evidence-reading tests also reveal answer-position and tie-response biases. These results concern the tested selectors and candidate sets. They illustrate why diagnostic measurements should be evaluated by whether they improve recommendation choices beyond existing features and a fixed interface.
• Abstract（参考訳）: 振る舞いテストは、言語モデルがどのようにエビデンスを読み取るかを測定する。 これらの測定がレコメンデーションインターフェースの選択に役立つかどうかを問う。 我々は,4つの推奨領域にまたがる6つの小さなチェックポイントを,時系列評価と3,426名の評価ユーザを用いて評価した。 候補者は8名。 ベースラインセレクタは、履歴のみのプロンプトの中から選択し、協調的なエビデンスを誘導し、融合をスコアする。 観測可能な特徴と、6つの安定性プロンプトを使用しており、ワードや候補順が異なる。 拡張セレクタは、モデルにサポート数の比較を求める6つのエビデンス読み取りプロンプトの機能を追加する。 各ドメインの開発(バリデーション)データで一度選択されたインターフェースとチェックポイントスコアは0.5524 NDCG@5であり、ベースラインセレクタは0.5447、拡張セレクタは0.5428である。 診断機能の追加は、NDCG@5を-0.0019(95%間隔 [-0.0046, 0.0004])で変更する。 区間はゼロを含み、その上限は分析計画の0.005改善目標より下である。 セレクタのハイパーパラメータのマッチングも、そのターゲットの下にあるインターバルアッパーバウンドを残している。 検索された類似ユーザからの証拠は、ランダムに選択されたユーザをアクティビティにマッチさせたコントロールに対して、0.0999 NDCG@5でプロンプトする。 また、エビデンスを読み取るテストでは、回答ポジションとタイレスポンスバイアスも明らかになっている。 これらの結果は、テストされたセレクタと候補セットに関するものである。 それらは、既存の機能や固定インターフェースを超えて推奨の選択を改善するかどうかによって、診断測定を評価すべき理由を説明している。

関連論文リスト

• Recommendation World Models for Future-State Control [53.191633845200876]
  我々は、訓練されたランク付け者が将来の結果についての意思決定を支援する方法について研究する。 UA-TWM(UA-TWM)は,近傍のスレート動作を構成するユーティリティアンコールなワールドモデルインタフェースである。 本研究は,MovieLens-25MとKuaiRand-Pureにおける12の逐次バックボーン間の移動と,KuaiSimにおけるターゲット指向インタラクションの繰り返しを評価する。
  論文  参考訳（メタデータ） (2026-09-25T02:37:48Z)
• Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
  多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。 我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
  論文  参考訳（メタデータ） (2026-09-24T11:16:53Z)
• Sample-Conditioned Representation Selection for Audio Few-Shot Learning [14.872888820695666]
  音声分類器は、前景と後景の共起に頼り、それらの相関が変化すると失敗することがある。 本稿では,各入力に対して独立に固定予算特徴マスクを予測するSAMPLESELECTを提案する。 一致した全表現制御を4.90-8.38ポイント改善する。
  論文  参考訳（メタデータ） (2026-09-15T12:15:12Z)
• Turkish MMLU Pro: Traceable Option Augmentation and Its Validity Limits in Turkish Multiple-Choice Evaluation [0.0]
  回答オプションを追加することで、評価の妥当性を向上することなく、複数の選択のスコアを下げることができる。 トルコのMMLU Proは58のセクションで12,000のトルコ語ソースの質問を用いてこの区別を検証している。
  論文  参考訳（メタデータ） (2026-09-14T12:28:09Z)
• Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
  外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。 我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。 オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
  論文  参考訳（メタデータ） (2026-08-23T03:07:03Z)
• GUI-Primitives: Diagnosing Spatial Reasoning Failures in Vision-Language GUI Grounding [8.113418747367573]
  コンピュータ利用エージェントは、インターフェイス要素を見つけるために、スクリーンショットに自然言語命令を接地する。 既存のベンチマークでは、モデルが言語を正しい要素にバインドするかどうかを区別していない。 そこで我々はGUI-Primitives(GUI-Primitives, 994-itemベンチマーク)を紹介した。
  論文  参考訳（メタデータ） (2026-08-22T08:04:59Z)
• FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
  FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。 各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-30T10:21:20Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。