Fugu-MT 論文翻訳(概要): WildSEEK: Evaluating Language Models for Information-Seeking

論文の概要: WildSEEK: Evaluating Language Models for Information-Seeking

arxiv url: http://arxiv.org/abs/2608.30683v1
Date: Mon, 31 Aug 2026 12:25:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.386489
Title: WildSEEK: Evaluating Language Models for Information-Seeking
Title（参考訳）: WildSEEK: 情報検索のための言語モデルの評価
Abstract要約: 実際のユーザインタラクションから3K情報検索クエリを手動でアノテートしたデータセットであるWildSEEKを紹介した。また,LLM生成応答の評価フレームワークを提案する。情報検索クエリの3分の1以上はリスクが高く、より頻繁に分析される。
参考スコア（独自算出の注目度）: 33.69574645182675
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Language models are increasingly mediating information access to end users, urging a systematic evaluation of their responses for a fair and reliable information ecosystem. Existing evaluations, however, are often topic-specific or synthetic, limiting their ability to capture the complexity of "in the wild" information-seeking queries and the risks present in model responses. To address this gap, we introduce WildSEEK, a manually annotated dataset of 3k information-seeking queries from real user interactions, and an evaluation framework for LLM-generated responses. WildSEEK includes annotations for risk-sensitive domains (e.g. health and financial information), and distinguishes factoid queries from analytical queries which seek responses beyond facts. We train classifiers on WildSEEK to analyze more than 1.8M realistic user queries. We find that over a third of information-seeking queries are high-risk and more often analytical. Our findings show that LLM responses fail more often in four criteria: sycophantic behavior, overreliance, a default US-centric perspective, and poor handling of vulnerable populations -- with failure rates being mostly higher for analytical queries. By providing methods to monitor the reliability, safety, and fairness of LLM behavior, our dataset and evaluation framework offer an empirical foundation for the broader question of how these systems should behave as they take on a growing role in information access.
Abstract（参考訳）: 言語モデルは、エンドユーザーへの情報アクセスを仲介し、公正で信頼性の高い情報エコシステムに対する応答の体系的な評価を促している。しかし、既存の評価は、しばしばトピック特化または合成であり、"野生の"情報検索クエリの複雑さとモデル応答に存在するリスクを捉える能力を制限する。このギャップに対処するために、WildSEEK、実際のユーザインタラクションから3K情報検索クエリを手動でアノテートしたデータセット、およびLCM生成応答の評価フレームワークを紹介する。 WildSEEKには、リスクに敏感なドメイン(例えば健康や財務情報)のアノテーションが含まれており、事実以外の応答を求める分析クエリとファクトイドクエリを区別する。 WildSEEKで分類器を訓練し、1.8万以上のリアルなユーザクエリを分析します。情報検索クエリの3分の1以上はリスクが高く、より頻繁に分析される。 LLMの応答は、サイコファン的行動、過度な信頼性、デフォルトの米国中心の視点、脆弱な人口の扱いの貧弱さの4つの基準でより頻繁に失敗する。 LLMの行動の信頼性、安全性、公平性を監視する方法を提供することで、我々のデータセットと評価フレームワークは、情報アクセスにおいて、これらのシステムがどのように振る舞うべきかというより広範な疑問に対して、実証的な基礎を提供する。

関連論文リスト

Data Analysis in the Wild: Benchmarking Large Language Models Against Real-World Data Complexities [16.09389994769264]
我々は,大規模言語モデルを評価するためのベンチマークであるDataGovBenchを紹介する。最先端のLLMによる総合的な実験では、両方のタスク間で大きなパフォーマンスギャップが示される。 DataGovBenchは、分析クエリの応答とデータからの洞察の発見の両方が可能なLLMの研究を進める上で、困難なベンチマークを提供する。
論文参考訳（メタデータ） (2026-07-07T16:43:05Z)
GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文参考訳（メタデータ） (2026-02-09T11:44:15Z)
Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
論文参考訳（メタデータ） (2025-09-03T15:48:33Z)
Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文参考訳（メタデータ） (2025-07-28T23:50:09Z)
VeriMinder: Mitigating Analytical Vulnerabilities in NL2SQL [11.830097026198308]
自然言語インタフェースをデータベース(NLIDB)に適用したアプリケーションシステムは、データ分析を民主化している。これはまた、統計分析のバックグラウンドなしにこれらのシステムを使用するユーザを支援する緊急の課題も生み出した。 We present VeriMinder, https://veriminder.ai, an Interactive system for detect and mitigating such analysisal vulnerabilities。
論文参考訳（メタデータ） (2025-07-23T19:48:12Z)
InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
論文参考訳（メタデータ） (2025-05-21T14:44:40Z)
LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。本稿では,脆弱性検出におけるLSMの詳細な調査を行う。言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
論文参考訳（メタデータ） (2025-02-10T21:33:38Z)
Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。 RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
論文参考訳（メタデータ） (2024-10-10T19:14:55Z)
NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
論文参考訳（メタデータ） (2024-07-16T17:59:06Z)
Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。自己監督評価と人監督評価との間には強い相関関係が認められた。
論文参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。