論文の概要: QSTN: A Modular Framework for Robust Questionnaire Inference with Large Language Models

• arxiv url: http://arxiv.org/abs/2512.08646v1
• Date: Tue, 09 Dec 2025 14:35:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:08.00018
• Title: QSTN: A Modular Framework for Robust Questionnaire Inference with Large Language Models
• Title（参考訳）: QSTN: 大規模言語モデルを用いたロバスト質問推論のためのモジュールフレームワーク
• Authors: Maximilian Kreutner, Jens Rupprecht, Georg Ahnert, Ahmed Salem, Markus Strohmaier,
• Abstract要約: 我々はQSTNを紹介した。QSTNはオープンソースのPythonフレームワークで、アンケートスタイルのプロンプトから応答を生成する。 QSTNは、アンケート提示、急激な摂動および応答生成方法の堅牢な評価を可能にする。
• 参考スコア（独自算出の注目度）: 3.2869728618340233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce QSTN, an open-source Python framework for systematically generating responses from questionnaire-style prompts to support in-silico surveys and annotation tasks with large language models (LLMs). QSTN enables robust evaluation of questionnaire presentation, prompt perturbations, and response generation methods. Our extensive evaluation ($>40 $ million survey responses) shows that question structure and response generation methods have a significant impact on the alignment of generated survey responses with human answers, and can be obtained for a fraction of the compute cost. In addition, we offer a no-code user interface that allows researchers to set up robust experiments with LLMs without coding knowledge. We hope that QSTN will support the reproducibility and reliability of LLM-based research in the future.
• Abstract（参考訳）: 我々はQSTNというオープンソースのPythonフレームワークを紹介した。このフレームワークは、アンケートスタイルのプロンプトから応答を体系的に生成し、大規模言語モデル(LLM)を用いたシリカ内サーベイおよびアノテーションタスクをサポートする。 QSTNは、アンケート提示、急激な摂動および応答生成方法の堅牢な評価を可能にする。 以上の結果から,質問構造と回答生成手法が人間の回答と回答のアライメントに大きく影響し,計算コストのごく一部で得られることが示唆された。 さらに,LLMを用いた堅牢な実験を,コーディング知識を必要とせずに行うことができるノーコードユーザインタフェースも提供しています。 我々は,将来,LLMに基づく研究の再現性と信頼性をQSTNがサポートすることを期待している。

関連論文リスト

• Questionnaire meets LLM: A Benchmark and Empirical Study of Structural Skills for Understanding Questions and Responses [3.8293581919117123]
  大規模言語モデル(LLM)は、オープンエンドテキストよりも数ショットの推論で優れている。 現在の検索および調査分析ツールは、典型的にはワークフロー内の人間のために設計されている。 回答検索,応答数,マルチホップ推論を含む6つの構造的スキルを探索するベンチマークであるQASUを紹介する。 実験により、有効なフォーマットを選択し、迅速な組み合わせを行うことで、最適以下のフォーマットに比べて最大8.8%の精度が向上することが示された。
  論文  参考訳（メタデータ） (2025-10-30T08:18:37Z)
• FactGuard: Leveraging Multi-Agent Systems to Generate Answerable and Unanswerable Questions for Enhanced Long-Context LLM Extraction [25.00896070082754]
  抽出読解システムは、与えられたテキスト内の質問に対する正しい答えを見つけるように設計されている。 永続的な課題は、これらのモデルが、答えられないクエリを確実に認識しながら、質問に答える上で高い精度を維持することである。 マルチエージェント協調フレームワークを基盤とした革新的なデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2025-04-08T01:45:16Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
  本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。 本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• Chain-of-Discussion: A Multi-Model Framework for Complex Evidence-Based Question Answering [55.295699268654545]
  本稿では,オープンソースのLarge Language Model間の相乗効果を利用する新しいChain-ofDiscussionフレームワークを提案する。 実験の結果,複数のLSM間の議論は回答の質を高める上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T05:31:34Z)
• keqing: knowledge-based question answering is a nature chain-of-thought mentor of LLM [27.76205400533089]
  大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスク、特に質問応答において顕著な性能を示した。 本稿では,知識グラフ上の質問関連構造化情報を取得するために,ChatGPTなどのLLMを支援する新しいフレームワークを提案する。 KBQAデータセットの実験結果から,Keqingは競合性能を達成でき,各質問に答える論理を説明できることがわかった。
  論文  参考訳（メタデータ） (2023-12-31T08:39:04Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。