論文の概要: Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses

• arxiv url: http://arxiv.org/abs/2606.06788v1
• Date: Fri, 05 Jun 2026 00:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.490101
• Title: Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses
• Title（参考訳）: 言語モデル応答の対話可能性の評価
• Authors: Indu Panigrahi, Tal August,
• Abstract要約: 参加者16ドルを対象とする定式化研究に基づく新しい評価フレームワークを提案する。 解釈可能な言語軸に沿って異なる1つのクエリに対して複数の応答を生成するモデルの能力を評価する。
• 参考スコア（独自算出の注目度）: 10.85815044167788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluations of large language models (LLMs) in scientific information seeking tasks have become increasingly use-centric, such as conducting live or multi-turn evaluations with real users. These evaluations still assume a single, static chat interface, but as models are integrated into new interfaces, evaluations must shift to incorporate interface-specific criteria. We propose a new evaluation framework based on a formative study with $16$ participants that tests models' ability to generate multiple responses to one query that differ along an interpretable axis of language (language complexity), inspired by direct manipulation interfaces from human-centered design literature. We evaluate GPT-5.1, GPT-5 mini, Claude Sonnet 4.5 + Thinking, and DeepSeek-V3.1 by generating 5 responses at different levels of language complexity for $98$ scientific queries. While models vary complexity across responses, most changes remain inconsistent, with the best performing model (Claude Sonnet 4.5) only shifting reliable complexity measures in the correct direction $46\%$ of the time. Our findings hold with increased sample size and alternative complexity levels.
• Abstract（参考訳）: 科学情報探索タスクにおける大規模言語モデル (LLM) の評価は, 実使用者による実運用やマルチターン評価など, ますます利用中心になってきている。 これらの評価は依然として単一の静的なチャットインターフェースを前提としているが、モデルが新しいインターフェースに統合されるため、評価はインターフェース固有の基準を取り入れなければならない。 人中心の設計文献から直接操作インタフェースにインスパイアされた言語(言語複雑性)の解釈可能な軸に沿って異なる1つのクエリに対して、複数の応答を生成するモデルの能力をテストする16ドルの参加者による形式的研究に基づく新しい評価フレームワークを提案する。 GPT-5.1、GPT-5 mini、Claude Sonnet 4.5 + Thinking、DeepSeek-V3.1は、980ドルの科学的クエリに対して、異なるレベルの言語複雑性で5つの応答を生成することで評価する。 モデルは応答によって複雑さが変化するが、ほとんどの変更は相容れないままであり、最高のパフォーマンスモデル(Claude Sonnet 4.5)は、正しい方向への信頼性の高い複雑性測定を46\%の時間でシフトするのみである。 以上の結果から,サンプルサイズの増加と,別の複雑性レベルが示唆された。

関連論文リスト

• Peer-Predictive Self-Training for Language Model Reasoning [15.499995918997756]
  本稿では,複数の言語モデルを協調的に改善するラベルフリーな微調整フレームワークを提案する。 素早い質問が与えられた場合、モデルが逐次応答を生成し、最終的な集約された回答が学習の内的ターゲットとして機能する。 数学的推論のベンチマークでは、PSTはGemma-2-2B、LLaMA-3.2-1B、Qwen-2.5-1.5Bの精度を2.2から4.3ポイント改善している。
  論文  参考訳（メタデータ） (2026-04-14T23:29:44Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• Prompting Strategies for Language Model-Based Item Generation in K-12 Education: Bridging the Gap Between Small and Large Language Models [5.584522240405349]
  本研究では、言語モデルを用いた自動生成(AIG)を用いて、形態的評価のための複数選択質問(MCQ)を作成する。 ゼロショット,少数ショット,チェーンオブ思考,ロールベース,シーケンシャル,組み合わせを含む7つの構造化プロンプト戦略を評価した。 その結果,構造的プロンプト,特にチェーン・オブ・シンクショナルデザインとシーケンシャルデザインを組み合わせた戦略はGemmaの出力を大幅に改善した。
  論文  参考訳（メタデータ） (2025-08-27T18:54:32Z)
• MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation [56.87891213797931]
  大規模言語モデルに対するMTR-Benchの評価について述べる。 4つのクラス、40のタスク、3600のインスタンスを含むMTR-Benchは、様々な推論機能をカバーする。 MTR-Benchは、データセットの構築とモデル評価の両方にまたがる、完全に自動化されたフレームワークを備えている。
  論文  参考訳（メタデータ） (2025-05-21T17:59:12Z)
• MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models [70.92847554971065]
  MT-Evalは,マルチターン対話能力を評価するための総合的なベンチマークである。 人間のLLM会話を解析することにより,インタラクションパターンを,再現,拡張,洗練,フォローアップの4つのタイプに分類する。 11個の有名なLCMを評価したところ、クローズドソースモデルは一般的にオープンソースモデルを上回るが、特定のタスクにおいて特定のオープンソースモデルの方がGPT-3.5-Turboを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-30T04:50:28Z)
• SimOAP: Improve Coherence and Consistency in Persona-based Dialogue Generation via Over-sampling and Post-evaluation [54.66399120084227]
  大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。 ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。 オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
  論文  参考訳（メタデータ） (2023-05-18T17:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。