論文の概要: Prompt Sensitivity in Tool-Augmented Model Comparisons

• arxiv url: http://arxiv.org/abs/2610.31148v1
• Date: Thu, 22 Oct 2026 12:07:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.367921
• Title: Prompt Sensitivity in Tool-Augmented Model Comparisons
• Title（参考訳）: ツール強化モデル比較におけるプロンプト感度
• Abstract要約: 言語モデルは、1つの単語で各質問を提示する質問回答ベンチマークで比較される。 モデルツールがそのような比較をより安定させるかどうかを問う。 応答の読み出し、推論、呼び出しの決定、ツールの回答、呼び出しなしで提供されるレポートなど、これらのステップを分離するマッチしたプロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.12277343096128711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are compared on question-answering benchmarks that pose each question in one wording, and a reworded question can change which of two models scores higher. We ask whether giving the models tools makes such comparisons more stable. An accuracy gain cannot answer this, because tools change several steps between the question and the scored answer at once. We propose a matched protocol that separates those steps: the answer readout, reasoning, the decision to call, the tool's answer, and the report supplied without a call. We apply it to six open models in five domains under five wordings. We find that tools raise accuracy where a program answers the question and widen the wording sensitivity of many pairwise comparisons. The widening follows how often a model calls, and call frequency follows the wording for some models and not others. It also depends on the interface and the instructions: a native tool-calling interface and a second tool description leave no detected widening in molecules, and sensitivity persists where tools return intermediate results. These findings show that deterministic reports do not guarantee stable comparisons. We recommend reporting call frequency and comparison stability under several wordings beside accuracy.
• Abstract（参考訳）: 言語モデルは、1つの単語で各質問を提示する質問回答ベンチマークで比較され、リワードされた質問は2つのモデルのスコアのどちらがより高いかを変更できる。 モデルツールがそのような比較をより安定させるかどうかを問う。 ツールが質問と得点した回答の間のいくつかのステップを一度に変更するからである。 応答の読み出し、推論、呼び出しの決定、ツールの回答、呼び出しなしで提供されるレポートなど、これらのステップを分離するマッチしたプロトコルを提案する。 5つのワードで5つのドメインの6つのオープンモデルに適用する。 我々は,プログラムが質問に答える精度を高め,多くのペア比較の単語の感度を拡大することを発見した。 この拡張は、モデル呼び出しの頻度に従っており、呼び出し頻度は、一部のモデルのワード化に従っており、他のモデルではない。 ネイティブのツールコールインターフェースと第2のツール記述は、検出された分子の拡張を残さず、ツールが中間結果を返す場合に感度が持続する。 これらの結果から,決定論的な報告は安定した比較を保証していないことが示唆された。 呼周波数と比較安定性の報告を,正確さの横に複数単語で行うことを推奨する。

関連論文リスト

• AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
  我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。 5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。 ハーネスは推論の精度を常に改善しないことがわかった。
  論文  参考訳（メタデータ） (2026-10-14T14:04:48Z)
• Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
  ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。 提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。 記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-09-21T11:59:07Z)
• Getting the Parameters Right: A Difficulty-Graded Benchmark and Probe-Guided Training for LLM Tool Calls [43.88014476513854]
  クラウドコンピューティングのようなドメインでは、フロンティアモデルでさえ、ツールコールの半分以下を正しく完了します。 本稿では,2つの相補的なアプローチによるプローブ誘導フレームワークを提案する。 提案手法はパラメータ生成を大幅に改善し,平均一致率19.7%から59.6%に向上した。
  論文  参考訳（メタデータ） (2026-08-04T03:36:41Z)
• A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering [2.1096366377985185]
  Agentic Video Questioning (VideoQA) システムは推論中にツールを呼び出すが、ツールライブラリは修正されている。 本稿では,ツール拡張ビデオエージェントの監査のための費用対プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-07-01T21:01:57Z)
• FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
  FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。 各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-30T10:21:20Z)
• Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy [41.17236645999555]
  本研究では,現実的な質問応答や数学的推論タスクにおいて,意味保存的言い回しの下でモデル解がどう変化するかを検討する。 4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。 多くの質問に対して、モデルはフレーズによって正しい答えと間違った答えを交互に行い、ミスマッチ率は23%以上に達する。
  論文  参考訳（メタデータ） (2026-05-18T16:45:13Z)
• How Many Ratings per Item are Necessary for Reliable Significance Testing? [7.422152765037947]
  機械学習評価の基盤は、モデルと人間の反応が一元的、権威的、金標準のデータに対するモデルを評価するのに十分な信頼性を持つという仮定である。 我々は、(既存のまたは計画された)データセットが、信頼できるヌル仮説の統計的テストを保証するのに十分な応答を持っているかどうかを判断するために、メソッドを適用する。 我々の手法は、AI研究者がAI評価のためのデータ収集方法に関するより良い決定を下すのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-12-04T02:31:28Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。