Fugu-MT 論文翻訳(概要): Is Length Really A Liability? An Evaluation of Multi-turn LLM Conversations using BoolQ

論文の概要: Is Length Really A Liability? An Evaluation of Multi-turn LLM Conversations using BoolQ

arxiv url: http://arxiv.org/abs/2601.16508v1
Date: Fri, 23 Jan 2026 07:15:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-26 14:27:27.584661
Title: Is Length Really A Liability? An Evaluation of Multi-turn LLM Conversations using BoolQ
Title（参考訳）: 長さは実際は責任か? BoolQ を用いたマルチターン LLM 会話の評価
Authors: Karl Neergaard, Le Qiu, Emmanuele Chersoni,
Abstract要約: 単発評価は、現実世界の害が発生する会話のダイナミクスを捉えるのに失敗する。その結果,シングルターンテストでは見えないモデル固有の脆弱性が明らかになった。
参考スコア（独自算出の注目度）: 3.9099556105941073
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Single-prompt evaluations dominate current LLM benchmarking, yet they fail to capture the conversational dynamics where real-world harm occurs. In this study, we examined whether conversation length affects response veracity by evaluating LLM performance on the BoolQ dataset under varying length and scaffolding conditions. Our results across three distinct LLMs revealed model-specific vulnerabilities that are invisible under single-turn testing. The length-dependent and scaffold-specific effects we observed demonstrate a fundamental limitation of static evaluations, as deployment-relevant vulnerabilities could only be spotted in a multi-turn conversational setting.
Abstract（参考訳）: シングルプロンプト評価は現在のLLMベンチマークを支配しているが、現実世界の害が発生する会話のダイナミクスを捉えていない。本研究では,BoolQデータセット上でのLLM性能を,長さや足場によって評価することにより,会話長が応答精度に影響を及ぼすかどうかを検討した。この結果から, 単ターン試験では見えないモデル固有の脆弱性が判明した。配置関連脆弱性は,複数ターンの会話設定でのみ検出できるため,時間依存的かつ足場依存的な影響は,静的評価の基本的な限界を示す。

関連論文リスト

Reasoning with Preference Constraints: A Benchmark for Language Models in Many-to-One Matching Markets [13.111181135818184]
大規模言語モデル (LLM) は、最適化を含む複雑な数学的タスクにおいて強い性能を示している。優先的かつ構造的な制約の下で推論を必要とする問題にLLMを適用することは、まだ未定である。我々は,大学入学問題の369件の新たなベンチマークを用いて,実用性,安定性,最適性といった重要な次元にわたるLSMを評価する。
論文参考訳（メタデータ） (2025-09-16T14:48:46Z)
LLMs Get Lost In Multi-Turn Conversation [44.26588510453331]
LLM(Large Language Models)は、対話型インタフェースである。 LLMは、手元のタスクを完全に指定できるだけでなく、マルチターンの会話交換を通じて必要なものを定義、探索、洗練する上でも、ユーザを支援することができる。
論文参考訳（メタデータ） (2025-05-09T15:21:44Z)
What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
論文参考訳（メタデータ） (2024-12-11T11:38:11Z)
UBench: Benchmarking Uncertainty in Large Language Models with Multiple Choice Questions [10.28688988951815]
大規模言語モデル(LLM)の不確実性を評価するための新しいベンチマークであるUBenchを紹介する。他のベンチマークとは異なり、UBenchは信頼区間に基づいている。知識、言語、理解、推論能力にまたがる11,978の多重選択質問を含んでいる。 1) 信頼性区間に基づく手法は不確実性定量化に極めて有効である; 2) 不確実性に関して、優れたオープンソースモデルは、クローズドソースモデルと競合する性能を示す; 3) CoT と RP は、モデル信頼性を改善するための潜在的方法を示し、温度変化の影響は普遍的な規則に従わない。
論文参考訳（メタデータ） (2024-06-18T16:50:38Z)
Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
論文参考訳（メタデータ） (2024-03-15T02:38:26Z)
LLMs May Perform MCQA by Selecting the Least Incorrect Option [29.202758753639078]
大規模言語モデル(LLM)は、様々なタスクにわたるパフォーマンスを著しく向上させた。 LLMを評価するためのベンチマークとして、MCQA(Multiple Choice Question Answering)が採用され、大きな注目を集めている。しかし、この評価手法の堅牢性に関する懸念は続いている。
論文参考訳（メタデータ） (2024-02-02T12:07:00Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文参考訳（メタデータ） (2023-10-15T12:40:30Z)
Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。