論文の概要: What is a Good Question? Utility Estimation with LLM-based Simulations

• arxiv url: http://arxiv.org/abs/2502.17383v1
• Date: Mon, 24 Feb 2025 18:08:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:04.946881
• Title: What is a Good Question? Utility Estimation with LLM-based Simulations
• Title（参考訳）: 良い質問とは何か? : LLMシミュレーションによる実用性評価
• Authors: Dong-Ho Lee, Hyundong Cho, Jonathan May, Jay Pujara,
• Abstract要約: QUESTは、質問の有用性の定量化を可能にする学習環境をシミュレートする。 質問効用度に基づくリジェクションサンプリングによって訓練されたモデルにより生成された質問は、少なくとも20%以上の試験結果をもたらす。
• 参考スコア（独自算出の注目度）: 37.87879572754863
• License:
• Abstract: Asking questions is a fundamental aspect of learning that facilitates deeper understanding. However, characterizing and crafting questions that effectively improve learning remains elusive. To address this gap, we propose QUEST (Question Utility Estimation with Simulated Tests). QUEST simulates a learning environment that enables the quantification of a question's utility based on its direct impact on improving learning outcomes. Furthermore, we can identify high-utility questions and use them to fine-tune question generation models with rejection sampling. We find that questions generated by models trained with rejection sampling based on question utility result in exam scores that are higher by at least 20% than those from specialized prompting grounded on educational objectives literature and models fine-tuned with indirect measures of question quality, such as saliency and expected information gain.
• Abstract（参考訳）: 質問を問うことは、深い理解を促進する学習の基本的な側面である。 しかし、学習を効果的に改善する質問の特徴付けと作成は、いまだ解明されていない。 このギャップに対処するため、我々はQUEST (Question Utility Estimation with Simulated Tests)を提案する。 QUESTは、学習結果の改善への直接的な影響に基づいて、質問ユーティリティの定量化を可能にする学習環境をシミュレートする。 さらに,高ユーティリティな質問を識別し,それを用いてリジェクションサンプリングによる質問生成モデルを微調整する。 調査結果から, 学習目的の文献や, 質問品質の間接的尺度, 有意性, 期待情報ゲインなどに基づいて微調整したモデルよりも, 試験結果が20%以上高い結果が得られた。

関連論文リスト

• Knowledge Graphs are all you need: Leveraging KGs in Physics Question Answering [28.279969366096978]
  質問回答タスクに対するモデル応答品質の向上を目的としたパイプラインを導入する。 LLMを用いて質問の内部ロジックをキャプチャする知識グラフを構築することにより、これらのグラフはサブクエストの生成をガイドする。 その結果,知識グラフから派生したサブクエストは,元の質問の論理に対する忠実度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-12-06T22:25:23Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
  大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。 本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。 我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T09:27:33Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
  本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。 17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。 その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-16T09:50:53Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Improving Visual Question Answering Models through Robustness Analysis and In-Context Learning with a Chain of Basic Questions [70.70725223310401]
  本研究は,VQAモデルのロバスト性を評価するために,基本質問と呼ばれる意味的関連質問を利用する新しい手法を提案する。 実験により,提案手法はVQAモデルのロバスト性を効果的に解析することを示した。
  論文  参考訳（メタデータ） (2023-04-06T15:32:35Z)
• Reinforcement Learning for Abstractive Question Summarization with Question-aware Semantic Rewards [20.342580435464072]
  本稿では,抽象的な質問要約のための強化学習に基づくフレームワークを提案する。 i)質問型識別と(ii)質問焦点認識の下流タスクから得られる2つの新しい報酬を提案する。 これらの報酬は意味論的に有効な質問の生成を確実にし、質問要約に重要な医療機関/焦点を取り入れることを奨励する。
  論文  参考訳（メタデータ） (2021-07-01T02:06:46Z)
• Introducing a framework to assess newly created questions with Natural Language Processing [3.364554138758565]
  本稿では,新たに作成された複数質問の難易度と差別度を推定するためのモデルを訓練し,評価する枠組みを提案する。 このフレームワークを使って1つのモデルを実装し、CloudAcademyが提供する実世界のデータセットでテストします。
  論文  参考訳（メタデータ） (2020-04-28T13:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。