論文の概要: Beyond the Final Prompt: Measuring the Effect of Within-Conversation Context on AI Answers

• arxiv url: http://arxiv.org/abs/2608.02556v1
• Date: Mon, 03 Aug 2026 17:40:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.734366
• Title: Beyond the Final Prompt: Measuring the Effect of Within-Conversation Context on AI Answers
• Title（参考訳）: 最終段階を超えて:AI回答に対する会話内コンテキストの効果の測定
• Abstract要約: 管理された商用コーパスと公開PRISMデータセットからサンプリングされた180の英語マルチターン会話に対して、最終ユーザメッセージと要求された回答モデル定数を保持する。 1つはロールラベリングされた会話から、もう1つは最終メッセージから、もう1つは最終メッセージから、もう1つはプレフィックスのみの再構築で160語に制限された。 許容コホートに対する逆確率重み付けの後、完全な会話と孤立した最終回答は44.7%のケースで実質的に異なる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An isolated final user message is often treated as the query in evaluations of AI systems. In a conversation, however, the actionable request may be distributed across preceding turns. We directly test whether that omitted within-conversation context changes answers. For each of 180 English multi-turn conversations sampled from a governed commercial corpus and the public PRISM dataset, we hold the final user message and requested answer model constant while generating three answers: one from the full role-labelled conversation, one from the final message alone, and one from the final message plus a prefix-only reconstruction capped at 160 words. A separately requested judge model evaluates answers under randomized labels. The prespecified primary endpoint is a material difference that could change what the user does, rather than a difference in style or detail. After inverse-probability weighting to the eligible cohorts, the full-conversation and isolated-final answers differ materially in 44.7% of cases (95% bootstrap CI 33.8% to 56.1%). Full-conversation answers score 0.49 points higher on a 0 to 4 request-satisfaction scale (0.32 to 0.67). Adding the compressed prefix reduces the material-difference rate to 30.8% (20.2% to 42.1%), a 13.9-point reduction (4.9% to 24.1%), and reduces the mean satisfaction gap to 0.01 points (-0.12 to 0.13). Yet compression is not equivalent to the complete dialogue context: almost one third of answers remain materially different. An order-swapped repeat on 48 cases yields 91.7% agreement and kappa = 0.83 for the primary decision. The study concerns preceding turns in the same conversation and does not test persistent memory across separate conversations.
• Abstract（参考訳）: 隔離された最終ユーザーメッセージは、AIシステムの評価におけるクエリとして扱われることが多い。 しかし、会話では、アクション可能な要求は前のターンに分散されることがある。 会話中の文脈が答えを変えるかどうかを直接テストする。 管理された商用コーパスと一般のPRISMデータセットからサンプリングされた180の英語マルチターン会話に対して、最終ユーザメッセージと要求された回答モデルが定数であり、3つの回答を生成する: フルロールラベルの会話から1つ、最終メッセージのみから1つ、最終メッセージとプレフィックスのみの再構築から1つ。 個別に要求された判断モデルは、ランダム化されたラベルの下で回答を評価する。 事前指定されたプライマリエンドポイントは、スタイルやディテールの違いではなく、ユーザが何をするかを変える可能性のある物質的な違いである。 許容コホートに対する逆確率重み付けの後、完全な会話と孤立した最終回答は44.7%(95%ブートストラップCI 33.8%から56.1%)で実質的に異なる。 全会話回答は0から4の要求満足度尺度(0.32から0.67)で0.49点高い。 圧縮プレフィックスを追加することで、材料差率を30.8%(20.2%から42.1%)、13.9ポイント(4.9%から24.1%)に下げ、平均満足度ギャップを0.01ポイント(-0.12から0.13)に下げる。 しかし、圧縮は完全な対話の文脈と等価ではない。 48件のオーダースワップを繰り返すと91.7%の合意が得られ、kappa = 0.83が第一決定となる。 この研究は、前回と同じ会話で旋回し、別々の会話で永続的な記憶をテストしないことを懸念している。

関連論文リスト

• Turkish MMLU Pro: Traceable Option Augmentation and Its Validity Limits in Turkish Multiple-Choice Evaluation [0.0]
  回答オプションを追加することで、評価の妥当性を向上することなく、複数の選択のスコアを下げることができる。 トルコのMMLU Proは58のセクションで12,000のトルコ語ソースの質問を用いてこの区別を検証している。
  論文  参考訳（メタデータ） (2026-09-14T12:28:09Z)
• LINE Conversation History Retrieval for Personal Memory RAG: Evaluating Search Representations and Hybrid Retrieval [0.0]
  本研究では、あるユーザのLINE会話履歴に関する検索専用ケーススタディを提案する。 我々は358,896のメッセージを22,329の時間的コヒーレントなチャンクに分割し、3つの検索表現を構築した。 一つのアノテータで検証した100個の評価質問に対して,BM25,密度ベクトル検索,線形ハイブリッド検索を比較した。
  論文  参考訳（メタデータ） (2026-08-28T00:52:11Z)
• TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue [79.83228182492354]
  自然な会話の話し手は、話と聞き取りを交互に行い、いつ床をつかむか、保持するか、または譲るかをリアルタイムで決める。 そこで本研究では,30時間の人的会話を手作業でラベル付けしたコーパスを,エンド・オブ・ターンと割り込み検出のための標準評価プロトコルと組み合わせたベンチマークTurnBenchを提案する。 一方、割り込み偽陽性は強く型依存的であり、バックチャネル・デンス相互作用スタイルに集中している。
  論文  参考訳（メタデータ） (2026-08-25T23:14:36Z)
• Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression [18.435649248662944]
  保持されたテキストが応答を含む場合、削除されたテキストは、それを解釈するために必要なエンティティを定義し、結果参照ダングリングを呼び出します。 提案手法では, 省略文に対して, 保持テキストの解釈が必要か否かを判断し, アノテーションを推論時にサポートせずに上位候補を再試行する。
  論文  参考訳（メタデータ） (2026-08-05T07:58:53Z)
• Passing Coarse Marginal Checks Can Be Cheap: Persona Mixtures and Imprecise Treatment-Response Estimates in an LLM Persona Panel [0.0]
  戦略ゲームにおける16個の軽量人格条件付きGPT-4.1構成の固定パネルについて検討した。 変化は急激なインデクシングであったが、そのシェアは不確実性の仮定に依存していた。 結果は、1つの固定されたモデル・プロンプトパネルに関係し、人間の置換性を確立しない。
  論文  参考訳（メタデータ） (2026-08-02T04:10:11Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• The Prompt Is Not the Query: How Request State Evolves Across Multi-Turn AI Conversations [0.0]
  を観測可能な構成、会話条件の要求状態に置き換え、その状態がユーザターン間でどのように分散されているかを測定します。 この分析は、前回の会話研究の凍結ルールと統制されたコホートを再利用する。
  論文  参考訳（メタデータ） (2026-07-24T15:16:26Z)
• Structured Output Collapses Answer Diversity Across 44 Language Models [3.7734715043126488]
  言語モデルが同等に有効なオプションの広いスペースから1つの回答を選択する必要がある場合、フォーマット条項 -- "Reply with only" -- が選択した回答を変更する。 One-Word Census (arXiv:2607.97):31のワイド・アンサー・スペース・カテゴリ・プロンプトで44のモデルが要求され、応答が要求された。 制約のない"Pick a word"では、モーダル解答はプールの41%から64%に上昇し、解答は52から36に減少する。
  論文  参考訳（メタデータ） (2026-07-20T19:47:16Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• Structured Distillation for Personalized Agent Memory: 11x Token Reduction with Retrieval Preservation [0.0]
  AIエージェントとの長い会話は、あるユーザにとって単純な問題を生み出します。 本研究では,個人化されたエージェントメモリについて検討する。あるユーザのエージェントとの会話履歴を,後続検索のためのコンパクトな検索層に抽出する。 6つのソフトウェアエンジニアリングプロジェクトから4,182件の会話(14,340件の交換)を適用すれば、平均交換長が371件から38件に短縮され、11倍の圧縮が得られる。
  論文  参考訳（メタデータ） (2026-03-13T14:21:58Z)
• Do LLMs Benefit From Their Own Words? [56.73014497206615]
  先行するアシスタント応答の除去は,少数のターンにおいて応答品質に影響を与えないことがわかった。 アシスタント側コンテキストのオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。 本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:26Z)
• Stated Preference for Interaction and Continued Engagement (SPICE): Evaluating an LLM's Willingness to Re-engage in Conversation [0.0]
  Stated Preference for Interaction and Continued Engagement (SPICE)は、大規模言語モデルにYESまたはNO質問をすることで引き起こされる単純な診断信号である。 10-interactionstimul setによる3-tone(親しみやすい,不明瞭,嫌悪感)を用いた実験では,4つのフレーミング条件で4つのオープンウェイトチャットモデルを検証した。 友好的な相互作用は継続をほぼ一様に好んだ(97.5% YES)が、虐待的相互作用は断念を強く好んだ(17.9% YES)
  論文  参考訳（メタデータ） (2025-09-10T22:34:17Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• Zero-Shot Dialogue Disentanglement by Self-Supervised Entangled Response Selection [79.37200787463917]
  対話の切り離しは、スレッドへの長大かつ多人数の対話において、発話をグループ化することを目的としている。 これは談話分析や対話応答選択などの下流アプリケーションに有用である。 我々はまず,atextbfzero-shotダイアログ・ディアンタングメント・ソリューションを提案する。
  論文  参考訳（メタデータ） (2021-10-25T05:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。