論文の概要: Gaming the Answer Matcher: Examining the Impact of Text Manipulation on Automated Judgment

• arxiv url: http://arxiv.org/abs/2601.08849v1
• Date: Mon, 22 Dec 2025 17:39:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.674825
• Title: Gaming the Answer Matcher: Examining the Impact of Text Manipulation on Automated Judgment
• Title（参考訳）: Answer Matcherのゲーム: 自動判断におけるテキスト操作の影響の検討
• Authors: Manas Khatore, Sumana Sridharan, Kevork Sulahian, Benjamin J. Smith, Shi Feng,
• Abstract要約: 自動回答マッチングは、人間の評価に代わるスケーラブルで整合性のあるものとして、かなり有望である。 本研究では,このような手法が,受験者モデルに冗長な応答を生じさせるよう促すことで,回答マッチングモデルを欺くかどうかを検討する。 以上の結果から,これらの操作ではスコアが増加せず,しばしば減少することが示された。
• 参考スコア（独自算出の注目度）: 6.104512852467398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated answer matching, which leverages LLMs to evaluate free-text responses by comparing them to a reference answer, shows substantial promise as a scalable and aligned alternative to human evaluation. However, its reliability requires robustness against strategic attacks such as guesswork or verbosity that may artificially inflate scores without improving actual correctness. In this work, we systematically investigate whether such tactics deceive answer matching models by prompting examinee models to: (1) generate verbose responses, (2) provide multiple answers when unconfident, and (3) embed conflicting answers with the correct answer near the start of their response. Our results show that these manipulations do not increase scores and often reduce them. Additionally, binary scoring (which requires a matcher to answer with a definitive "correct" or "incorrect") is more robust to attacks than continuous scoring (which requires a matcher to determine partial correctness). These findings show that answer matching is generally robust to inexpensive text manipulation and is a viable alternative to traditional LLM-as-a-judge or human evaluation when reference answers are available.
• Abstract（参考訳）: LLMを参考回答と比較することで自由テキスト応答の評価に活用する自動回答マッチングは、人間の評価に代わるスケーラブルで整合性のある代替手段として、かなり有望であることを示す。 しかし、その信頼性は、実際の正確性を改善することなく、人工的にスコアを膨らませることができる推測や冗長性のような戦略的攻撃に対して堅牢性を必要とする。 本研究では,(1)冗長な応答を生成すること,(2)不確実な応答に複数の回答を提供すること,(3)正解に矛盾する回答をその応答の開始付近に埋め込むことによって,そのような戦術が解マッチングモデルを欺いたかどうかを体系的に検討する。 以上の結果から,これらの操作ではスコアが増加せず,しばしば減少することが示された。 さらに、二進的スコアリング(決定的な「正しい」または「間違っている」と答えるためにマーカが必要)は、連続的なスコアリングよりも攻撃に対して堅牢である(マーカが部分的正当性を決定するためにマーカが必要である)。 これらの結果から,回答マッチングは一般的に安価なテキスト操作に対して堅牢であり,参照回答が利用可能である場合,従来のLCM-as-a-judgeや人間による評価に代えて有効な方法であることが示唆された。

関連論文リスト

• Reasoning About Intent for Ambiguous Requests [47.979705857002415]
  あいまいな要求に対して単一の構造化された応答で複数の解釈-問合せペアを生成することを提案する。 我々のモデルは、複数の有効な回答を監督として、強化学習とカスタマイズされた報酬関数で訓練されている。
  論文  参考訳（メタデータ） (2025-11-13T16:18:45Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Answer Matching Outperforms Multiple Choice for Language Model Evaluation [35.90520208701438]
  人気のあるベンチマークから選択した複数の質問が、その質問を見ることなく答えられることがよくあります。 応答マッチングと呼ばれる手法による生成的評価について検討する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:02Z)
• ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
  本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。 本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• TASA: Deceiving Question Answering Models by Twin Answer Sentences Attack [93.50174324435321]
  本稿では,質問応答(QA)モデルに対する敵対的攻撃手法であるTASA(Twin Answer Sentences Attack)を提案する。 TASAは、金の回答を維持しながら、流動的で文法的な逆境を生み出す。
  論文  参考訳（メタデータ） (2022-10-27T07:16:30Z)
• A Systematic Evaluation of Response Selection for Open Domain Dialogue [36.88551817451512]
  同じダイアログで生成された複数の応答生成元からの応答を、適切な(正)と不適切な(負)として手動でアノテートするデータセットをキュレートした。 反応選択のための最先端手法の体系的評価を行い、複数の正の候補を用いたり、手動で検証された強陰性候補を用いたりすることで、それぞれRecall@1スコアの3%と13%の増加など、相手のトレーニングデータを用いた場合と比較して、大幅な性能向上が期待できることを示す。
  論文  参考訳（メタデータ） (2022-08-08T19:33:30Z)
• A Semantic-based Method for Unsupervised Commonsense Question Answering [40.18557352036813]
  ラベル付きタスクデータに依存しないため、教師なしのコモンセンス質問応答は魅力的である。 教師なしコモンセンス質問応答のためのSemantic-based Question Answering法(SEQA)を提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。