論文の概要: Contextualized Evaluations: Taking the Guesswork Out of Language Model Evaluations
- arxiv url: http://arxiv.org/abs/2411.07237v1
- Date: Mon, 11 Nov 2024 18:58:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:10:08.784132
- Title: Contextualized Evaluations: Taking the Guesswork Out of Language Model Evaluations
- Title（参考訳）: 文脈的評価:言語モデル評価からギースワークを外す
- Authors: Chaitanya Malaviya, Joseph Chee Chang, Dan Roth, Mohit Iyyer, Mark Yatskar, Kyle Lo,
- Abstract要約: 言語モデルユーザーは、しばしば仕様を欠いたクエリを発行するが、クエリが発行されたコンテキストは明示的ではない。
提案手法は,不特定クエリを取り巻くコンテキストを合成的に構築し,評価中に提供するプロトコルである。
その結果,1) モデルペア間の勝利率の反転,2) モデルペア間の勝利率の低下,2) パターンなどの表面レベル基準に基づく判断の少ない評価,3) 様々な文脈におけるモデル行動に関する新たな洞察の提供,といった結果が得られた。
- 参考スコア（独自算出の注目度）: 85.81295563405433
- License:
- Abstract: Language model users often issue queries that lack specification, where the context under which a query was issued -- such as the user's identity, the query's intent, and the criteria for a response to be useful -- is not explicit. For instance, a good response to a subjective query like "What book should I read next?" would depend on the user's preferences, and a good response to an open-ended query like "How do antibiotics work against bacteria?" would depend on the user's expertise. This makes evaluation of responses to such queries an ill-posed task, as evaluators may make arbitrary judgments about the response quality. To remedy this, we present contextualized evaluations, a protocol that synthetically constructs context surrounding an underspecified query and provides it during evaluation. We find that the presence of context can 1) alter conclusions drawn from evaluation, even flipping win rates between model pairs, 2) nudge evaluators to make fewer judgments based on surface-level criteria, like style, and 3) provide new insights about model behavior across diverse contexts. Specifically, our procedure uncovers an implicit bias towards WEIRD contexts in models' "default" responses and we find that models are not equally sensitive to following different contexts, even when they are provided in prompts.
- Abstract（参考訳）: 言語モデルユーザーは、しばしば仕様を欠いたクエリを発行するが、クエリが発行されたコンテキスト(ユーザのアイデンティティ、クエリの意図、有用なレスポンスの基準など)は明確ではない。
例えば、「次にどんな本を読むべきか?」といった主観的な質問に対する良い反応は、ユーザの好み次第で、そして「抗生物質はバクテリアに対してどのように働くのか?」といったオープンエンドの質問に対する良い反応は、ユーザの専門知識次第である。
これにより、応答品質について任意の判断を下すことができるため、そのようなクエリに対する応答の評価が不適切なタスクとなる。
そこで本稿では,不特定なクエリを取り巻くコンテキストを合成的に構築し,評価中に提供するプロトコルである文脈評価を提案する。
私たちは文脈の存在が可能であることに気付きました。
1) 評価から引き出された結論の変更、モデルペア間の勝利率の反転など。
2 表面基準等に基づいて判断を下すための評価者
3) 多様なコンテキストにまたがるモデル行動に関する新たな洞察を提供する。
具体的には、モデルの「デフォルト」応答におけるWEIRDコンテキストに対する暗黙のバイアスを明らかにし、モデルがプロンプトで提供されても、異なるコンテキストに従うことに等しく敏感でないことを発見した。
関連論文リスト
- Reducing the Scope of Language Models with Circuit Breakers [7.464494269745494]
2つの代表的な言語モデルはスコープが低く、対処すべきでないクエリに応答できることを示します。
本稿では,最近提案された一般的なアライメント手法であるCircuit Breakersが,言語モデルに非常に具体的なタスクに適応可能であることを示す。
論文 参考訳（メタデータ） (2024-10-28T23:06:57Z) - QUDSELECT: Selective Decoding for Questions Under Discussion Parsing [90.92351108691014]
Question Under Examination (QUD) は、暗黙の質問を用いて文間の会話関係を明らかにするための談話フレームワークである。
本稿では,QUD基準を考慮したQUD依存構造を選択的に復号する共同学習フレームワークであるQUDSELECTを紹介する。
提案手法は,人的評価において9%,自動評価において4%,最先端のベースラインモデルよりも優れていた。
論文 参考訳（メタデータ） (2024-08-02T06:46:08Z) - "My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models [40.867655189493924]
言語生成のオープンな性質は、大規模言語モデル(LLM)の評価を困難にしている。
1つの一般的な評価手法は、応答空間を制限するためにMulti-choice Question (MCQ) を用いる。
そこで本研究では,テキストの出力を数次元で評価する。
論文 参考訳（メタデータ） (2024-02-22T12:47:33Z) - RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。
制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。
提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
論文 参考訳（メタデータ） (2024-02-16T18:50:24Z) - What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。
ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。
このフィードバックの有効性を,文脈内学習を通じて評価する。
論文 参考訳（メタデータ） (2023-11-16T04:26:32Z) - EvalLM: Interactive Evaluation of Large Language Model Prompts on
User-Defined Criteria [43.944632774725484]
本稿では,ユーザ定義基準に基づいて複数の出力を評価することで,プロンプトを反復的に精錬するインタラクティブシステムであるEvalLMを提案する。
自然言語の基準を記述することで、ユーザはシステムのLCMベースの評価器を使って、どのプロンプトがエキサイティングか、失敗かを概観することができる。
比較研究では、EvalLMは手動による評価と比較して、参加者がより多様な基準を策定し、アウトプットの2倍を検査し、59%のリビジョンで満足なプロンプトに達するのに役立った。
論文 参考訳（メタデータ） (2023-09-24T13:19:38Z) - Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。
ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。
本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
論文 参考訳（メタデータ） (2023-07-08T04:32:17Z) - Searching for Better Database Queries in the Outputs of Semantic Parsers [16.221439565760058]
本稿では,テスト時に生成したクエリを評価する外部基準にアクセスできる場合を考える。
クエリがエラーなしに実行されることをチェックすることから、一連のテストでクエリを検証することまで、その基準は様々である。
我々は、最先端のセマンティクスにアプローチを適用し、異なるデータセットですべてのテストを通過する多くのクエリを見つけることができると報告します。
論文 参考訳（メタデータ） (2022-10-13T17:20:45Z) - QRelScore: Better Evaluating Generated Questions with Deeper
Understanding of Context-aware Relevance [54.48031346496593]
我々は、$underlinetextbfRel$evance評価指標のコンテキスト対応評価指標である$textbfQRelScore$を提案する。
BERTやGPT2のような既製の言語モデルに基づいて、QRelScoreは単語レベルの階層マッチングと文レベルのプロンプトベースの生成の両方を採用している。
既存の測定値と比較すると、QRelScoreは人間による判断と高い相関性を持ちながら、敵のサンプルに対してより堅牢であることを示す。
論文 参考訳（メタデータ） (2022-04-29T07:39:53Z) - Speaker Sensitive Response Evaluation Model [17.381658875470638]
本稿では,生成した応答と会話コンテキストとの類似性に基づく自動評価モデルを提案する。
ラベルのない会話コーパスからモデルパラメータを学習する。
我々のモデルは、追加の訓練なしに映画対話に適用できることが示される。
論文 参考訳（メタデータ） (2020-06-12T08:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。