論文の概要: QUEST: A Query and Extraction System for Topics in Asylum Law Application Decisions

• arxiv url: http://arxiv.org/abs/2608.28555v1
• Date: Fri, 28 Aug 2026 17:34:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.421223
• Title: QUEST: A Query and Extraction System for Topics in Asylum Law Application Decisions
• Title（参考訳）: QUEST: a Query and extract system for Topics in Asylum Law Application Decisions
• Abstract要約: 上訴処理における重要な問題は、原出願における情報の信頼性が、原告の決定を下す要因であるかどうかである。 本稿では,デンマークの亡命申請の2つのデータセットにおいて,信頼性評価に関連する要因を抽出し,同定するQUESTシステムを提案する。
• 参考スコア（独自算出の注目度）: 24.1599425974025
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Legal decisions on asylum applications consist of long, complex, and heterogeneous documents, covering narrative applicant interviews, original decisions, and additional supporting materials. If an application is rejected, a critical question in processing an appeal is whether the credibility of the information in the original application was a factor that determined the original decision. In this paper, we present the QUEST system (Query and Extraction System for Topics) to extract and identify factors relating to credibility assessments in two datasets of Danish asylum application appeals. QUEST frames this problem as an information retrieval task, combining synthetic query generation, topic extraction, and relevance assessment to identify information related to credibility indicators in appeals board application materials. In addition to standard retrieval evaluation metrics, we propose a new type of domain-specific assessments distinct from the traditional relevance to evaluate the performance of the tested systems with respect to credibility factors. In this way, we obtain insights about how well automatic methods can return answers for different types of indicators appearing in asylum appeals. Our results indicate that there is an increased challenge when estimating performance using credibility-based relevance assessments, thus pointing to the difficulty of the task.
• Abstract（参考訳）: 亡命申請に関する法的決定は、長い、複雑で異質な文書で構成され、物語の応募者へのインタビュー、オリジナルの決定、および追加の支援資料を含んでいる。 出願が拒絶された場合、上訴処理における重要な問題は、原出願における情報の信頼性が、原告の決定を下す要因であるかどうかである。 本稿では,デンマークの亡命申請の2つのデータセットにおいて,信頼性評価に関連する要因を抽出し,識別するQUESTシステムを提案する。 QUESTは、この問題を情報検索タスクとして捉え、合成クエリ生成、トピック抽出、関連性評価を組み合わせて、上訴ボードアプリケーション材料における信頼性指標に関する情報を識別する。 そこで本研究では, 信頼性評価の指標に加え, 信頼性評価の指標として, 従来と異なる領域固有の評価手法を提案し, 信頼性評価の指標として, テストシステムの性能評価を行う。 このようにして,失語訴に現れるさまざまな指標に対して,自動手法が解答をいかに効果的に返却できるかという知見を得る。 この結果から,信頼性に基づく妥当性評価による性能評価では課題が増加し,課題の難しさが示唆された。

関連論文リスト

• SCORE: Specificity, Context Utilization, Robustness, and Relevance for Reference-Free LLM Evaluation [6.760582976667912]
  大規模言語モデル (LLMs) は、ハイテイクなドメイン固有の設定において、質問応答と意思決定をサポートするために、ますます使われている。 本研究では,LLM出力を4つの相補次元に沿って評価する多次元参照フリー評価フレームワークを提案する。 我々は、40の専門職と7つの自然危険タイプにまたがる1,412のドメイン固有の質問応答ペアをキュレートしたデータセットを紹介した。
  論文  参考訳（メタデータ） (2026-02-10T17:39:17Z)
• RAC: Retrieval-Augmented Clarification for Faithful Conversational Search [7.0486278653981245]
  RAC(Retrieval-Augmented Clarification)は,コーパスに忠実な質問を生成するためのフレームワークである。 検索のための索引付け戦略を比較した後、研究コンテキストを最適に活用するために、大規模言語モデルを微調整する。 提案手法は,提案手法を適用せず,検索した経路によって支持される質問を優先するために,コントラッシブな選好最適化を適用する。
  論文  参考訳（メタデータ） (2026-01-16T19:16:38Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
  FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。 このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
  InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。 本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。 本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-05-21T14:44:40Z)
• Measurement to Meaning: A Validity-Centered Framework for AI Evaluation [12.55408229639344]
  我々は、利用可能な証拠から得られる評価的クレームのタイプを推論するための構造化されたアプローチを提供する。 私たちのフレームワークは、機械学習の現代的なパラダイムに適しています。
  論文  参考訳（メタデータ） (2025-05-13T20:36:22Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
  言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。 外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。 RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
  論文  参考訳（メタデータ） (2024-10-10T19:14:55Z)
• Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness [56.42192735214931]
  検索者は、ドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することも期待されている。 本研究では,検索者がクエリの異なる視点を認識し,応答できるかどうかを検討する。 我々は,現在の検索者はクエリにおいて微妙に異なる視点に対する認識が限られており,特定の視点に偏りがあることを示す。
  論文  参考訳（メタデータ） (2024-05-04T17:10:00Z)
• PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
  本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。 本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。 次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:34Z)
• Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
  生成検索システムは、しばしばクエリに対する応答として、接地された生成されたテキストを直接返す。 このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
  論文  参考訳（メタデータ） (2023-11-08T14:05:00Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。