論文の概要: Reading Between the Lines: Can LLMs Discover the Question Behind the Text?

• arxiv url: http://arxiv.org/abs/2609.19070v1
• Date: Wed, 22 Jul 2026 13:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.09
• Title: Reading Between the Lines: Can LLMs Discover the Question Behind the Text?
• Title（参考訳）: 行間を読む: LLMはテキストの裏にある質問を発見できるのか?
• Abstract要約: 本論文では,1つの「ジェネシス問題」の推測に焦点をあてた特定の評価課題である「質問考古学」を紹介する。 提案手法では,提案したテキストのデータセットと,元の研究課題と組み合わせて提案する。
• 参考スコア（独自算出の注目度）: 3.4822637468319733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces ``question archaeology'', a specific evaluation task focused on inferring the single, authentic "genesis question" that motivated the creation of a complete text. Distinct from question generation, which targets any plausible question, or discourse frameworks that model utterance-level acts, our task assesses a model's grasp of authorial intent. We present a new dataset of commissioned texts paired with their original research questions and plausible distractors. Our evaluation of both proprietary models, like Gemini Flash and Pro, as well as open source models like Mistral and Qwen, reveals significant progress in this task, with the newer versions outperforming the earlier ones, while BERT-based models performed poorly. Notably, our findings indicate that current LLMs surpass human performance on this task, suggesting advanced understanding of authorial intent. This capability has important implications for AI's role in tasks requiring nuanced interpretation of human communication. Our work thus provides a new framework and a challenging benchmark for future models.
• Abstract（参考訳）: 本稿では,全文の創出を動機づけた1つの「世代問題」を推定することに焦点を当てた,特定の評価課題である「探究考古学」を紹介する。 発話レベルの行為をモデル化する質問生成や談話フレームワークを対象とする質問生成とは別として,我々のタスクはモデルが権威的意図を把握していることを評価する。 提案手法では,提案したテキストのデータセットと,元の研究課題と組み合わせて提案する。 Gemini FlashやProのようなプロプライエタリなモデルと、MistralやQwenのようなオープンソースモデルの両方に対する評価は、このタスクにおいて大きな進歩を見せています。 特に,本研究の成果は,現状のLSMが人為的能力を上回ることが示唆され,権威的意図の高度理解が示唆された。 この能力は、人間のコミュニケーションの微妙な解釈を必要とするタスクにおいて、AIの役割に重要な意味を持つ。 私たちの仕事は、将来のモデルのための新しいフレームワークと挑戦的なベンチマークを提供します。

関連論文リスト

• Tracing Thought: Using Chain-of-Thought Reasoning to Identify the LLM Behind AI-Generated Text [1.7034813545878589]
  COT Fine-tunedはAI生成テキストを検出するための新しいフレームワークである。 提案手法の主な革新は,チェーン・オブ・ソート推論の利用である。 実験の結果、COTは両方のタスクで高精度に調整された。
  論文  参考訳（メタデータ） (2025-04-23T17:39:49Z)
• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• Evolving Knowledge Distillation with Large Language Models and Active Learning [46.85430680828938]
  大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示している。 従来の研究は、注釈付きデータを生成してLPMの知識をより小さなモデルに抽出しようと試みてきた。 EvoKD: Evolving Knowledge Distillationを提案する。これは、アクティブラーニングの概念を利用して、大規模言語モデルを用いたデータ生成のプロセスをインタラクティブに強化する。
  論文  参考訳（メタデータ） (2024-03-11T03:55:24Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey [54.34370423151014]
  本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。 本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
  論文  参考訳（メタデータ） (2020-10-14T17:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。