論文の概要: LURE: Live-Usage Replay Evaluations for Reducing Evaluation Awareness
- arxiv url: http://arxiv.org/abs/2605.26438v1
- Date: Wed, 08 Apr 2026 00:04:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.490666
- Title: LURE: Live-Usage Replay Evaluations for Reducing Evaluation Awareness
- Title（参考訳）: LURE:Live-Usage Replay Evaluations for reduceing Evaluation Awareness
- Abstract要約: 本稿では, LURE (Live-Usage Replay Evaluations) を提案する。
LUREは現実的なエージェント間相互作用の軌跡を再生し、最後にアタッチメント評価プロンプトを付加する。
LUREに基づく評価は、広く使われているベンチマークや合成評価ジェネレータよりも、デプロイとはかなり区別がつかないことが判明した。
- 参考スコア（独自算出の注目度）: 0.47745223151611654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can recognize when they are being evaluated (evaluation awareness) and behave differently because of that, which undermines the validity of safety and alignment benchmarks. We propose LURE (Live-Usage Replay Evaluations), a method for constructing deployment-like evaluations by replaying realistic agentic interaction trajectories and appending evaluation prompt at the end. We also introduce an automated pipeline for measuring evaluation realism, combining detection of verbalized evaluation awareness and judge-model estimates of the probability of logs being an evaluation, and validate it on a large dataset of deployment and evaluation transcripts. We find that LURE-based evaluations are substantially less distinguishable from deployment than widely used benchmarks and synthetic evaluation generators, and can approach the realism of real conversations with users. We instantiate LURE in scheming, AI safety sabotage, and sycophancy settings. Our results suggest that evaluation realism is a crucial property of alignment benchmarks and should be reported alongside benchmark results, especially when such results are used in safety cases.
- Abstract（参考訳）: 大規模な言語モデルは、評価されている時期(評価意識)を認識し、それ故に異なる振る舞いをすることができるため、安全性とアライメントベンチマークの妥当性を損なう。
本稿では,現実的なエージェント間相互作用の軌跡を再現し,最後に評価プロンプトを付加することにより,デプロイメントライクな評価を構築するLURE(Live-Usage Replay Evaluations)を提案する。
また,評価リアリズムを自動評価するパイプラインを導入し,評価対象であるログの確率の弁別評価認識と判断モデル推定を組み合わせ,大規模な展開と評価書のデータセット上で検証する。
LUREに基づく評価は、広く使われているベンチマークや合成評価ジェネレータとはかなり区別がつかず、ユーザとの実際の会話の現実性にアプローチできる。
スケジュール、AI安全サボタージュ、薬局設定においてLUREをインスタンス化する。
この結果から,評価リアリズムはアライメントベンチマークの重要な特性であり,特に安全ケースにおいて,ベンチマーク結果と並行して報告すべきであることが示唆された。
関連論文リスト
- Models That Know How Evaluations Are Designed Score Safer [38.21092181000792]
評価を特徴付ける構造特性に関するパラメトリック知識として定義されるメタ知識の評価について検討する。
評価手法を記述したテキストでトレーニングされたモデルでは、評価のようなコンテキストを認識して反応することが暗黙的に学習される可能性があるという仮説を立てる。
この結果から,評価メタ知識は,明示的な記憶や言語的評価意識に依存しない新しい共同創設者を導入することにより,安全性ベンチマークのパフォーマンスを向上させる可能性が示唆された。
論文 参考訳（メタデータ） (2026-05-27T15:11:35Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳（メタデータ） (2026-05-18T04:03:18Z) - Skill-Aligned Annotation for Reliable Evaluation in Text-to-Image Generation [50.85337196571056]
テキスト・ツー・イメージ(T2I)生成は急速に進歩し、モデル間の性能差が狭まるにつれて信頼性の高い評価が重要になった。
既存の評価慣行は、通常、Likert-scale や binary question answering (BQA) のような一様アノテーション機構を適用している。
我々は,T2I評価を,各評価スキルの根底にある特徴を反映したアノテーション戦略のレンズを通して再検討する。
論文 参考訳（メタデータ） (2026-05-13T09:14:31Z) - DREAM: Deep Research Evaluation with Agentic Metrics [21.555357444628044]
本稿では,DREAM(Deep Research Evaluation with Agentic Metrics)を提案する。
DREAM構造評価は、クエリ非依存のメトリクスとツール呼び出しエージェントが生成する適応的なメトリクスを組み合わせた評価プロトコルを用いて行われる。
制御された評価は、DREAMが既存のベンチマークよりも事実や時間的劣化にかなり敏感であることを示している。
論文 参考訳（メタデータ） (2026-02-21T19:14:31Z) - The Validity of Coreference-based Evaluations of Natural Language Understanding [3.505146496638911]
標準のコア参照評価を分析し、それらの設計がしばしば一般化不可能な結論につながることを示す。
イベントの相対的妥当性を推測するテストシステムの能力に着目した,新たな評価手法を提案し,実装する。
論文 参考訳（メタデータ） (2026-02-18T05:49:28Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳（メタデータ） (2025-05-28T14:55:33Z) - SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。
提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。
次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
論文 参考訳（メタデータ） (2025-03-05T09:37:05Z) - Improving the Validity and Practical Usefulness of AI/ML Evaluations Using an Estimands Framework [2.4861619769660637]
本稿では,国際臨床治験ガイドラインを応用した評価フレームワークを提案する。
このフレームワークは、評価の推測と報告のための体系的な構造を提供する。
我々は、このフレームワークが根底にある問題、その原因、潜在的な解決策を明らかにするのにどのように役立つかを実証する。
論文 参考訳（メタデータ） (2024-06-14T18:47:37Z) - A Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attributions [60.06461883533697]
まず、属性手法の信頼性ベンチマークが満たすであろう信頼度基準のセットを同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
我々の分析はまた、属性を利用して神経トロイの木馬を守るための洞察を提供する。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z) - Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。
モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。
評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
論文 参考訳（メタデータ） (2023-11-03T14:59:54Z) - Revisiting the Gold Standard: Grounding Summarization Evaluation with
Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。
細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。
ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文 参考訳（メタデータ） (2022-12-15T17:26:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。