論文の概要: Conformal Information Pursuit for Interactively Guiding Large Language Models

• arxiv url: http://arxiv.org/abs/2507.03279v1
• Date: Fri, 04 Jul 2025 03:55:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.651924
• Title: Conformal Information Pursuit for Interactively Guiding Large Language Models
• Title（参考訳）: 対話型大規模言語モデルのためのコンフォーマル情報探索
• Authors: Kwan Ho Ryan Chan, Yuyan Ge, Edgar Dobriban, Hamed Hassani, René Vidal,
• Abstract要約: 本稿では,クエリ数の最小化を目的としたシーケンシャルクエリ戦略について検討する。 そのような戦略の1つは情報探索(IP)であり、各反復で情報ゲインを最大化または同等に不確実性を最小化するクエリを選択する。 本稿では,コンフォーマル情報探索法(C-IP)を提案する。
• 参考スコア（独自算出の注目度）: 64.39770942422288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A significant use case of instruction-finetuned Large Language Models (LLMs) is to solve question-answering tasks interactively. In this setting, an LLM agent is tasked with making a prediction by sequentially querying relevant information from the user, as opposed to a single-turn conversation. This paper explores sequential querying strategies that aim to minimize the expected number of queries. One such strategy is Information Pursuit (IP), a greedy algorithm that at each iteration selects the query that maximizes information gain or equivalently minimizes uncertainty. However, obtaining accurate estimates of mutual information or conditional entropy for LLMs is very difficult in practice due to over- or under-confident LLM probabilities, which leads to suboptimal query selection and predictive performance. To better estimate the uncertainty at each iteration, we propose Conformal Information Pursuit (C-IP), an alternative approach to sequential information gain based on conformal prediction sets. More specifically, C-IP leverages a relationship between prediction sets and conditional entropy at each iteration to estimate uncertainty based on the average size of conformal prediction sets. In contrast to conditional entropy, we find that conformal prediction sets are a distribution-free and robust method of measuring uncertainty. Experiments with 20 Questions show that C-IP obtains better predictive performance and shorter query-answer chains compared to previous approaches to IP and uncertainty-based chain-of-thought methods. Furthermore, extending to an interactive medical setting between a doctor and a patient on the MediQ dataset, C-IP achieves competitive performance with direct single-turn prediction while offering greater interpretability.
• Abstract（参考訳）: 命令精細大言語モデル(LLM)の重要なユースケースは、質問応答タスクを対話的に解くことである。 この設定では、LLMエージェントは、一ターン会話とは対照的に、ユーザから関連情報を逐次クエリすることで予測を行う。 本稿では,クエリ数の最小化を目的としたシーケンシャルクエリ戦略について検討する。 そのような戦略の1つは情報探索(IP)であり、各反復で情報ゲインを最大化または同等に不確実性を最小化するクエリを選択する。 しかし、LLMの相互情報や条件エントロピーの正確な推定は、過度または過度に自信の持たないLLM確率のため、実際には非常に難しいため、クエリ選択や予測性能に繋がる。 各イテレーションにおける不確実性をよりよく推定するために,コンフォーマル情報探索 (C-IP) を提案する。 より具体的には、C-IPは各イテレーションにおける予測セットと条件エントロピーの関係を利用して、共形予測セットの平均サイズに基づいて不確実性を推定する。 条件付きエントロピーとは対照的に、共形予測集合は不確実性を測定するための分布のない頑健な方法である。 20 質問実験の結果,C-IP はIP や不確実性に基づくチェーン・オブ・シークレット手法と比較して,予測性能が向上し,クエリ・アンサー・チェーンが短くなった。 さらに、医師と患者がMedQデータセット上で対話的な医療環境に拡張することで、C-IPは、より深い解釈性を提供しながら、直接単ターン予測による競合性能を達成する。

関連論文リスト

• Conformal Prediction Beyond the Seen: A Missing Mass Perspective for Uncertainty Quantification in Generative Models [20.810300785340072]
  Conformal Prediction with Query Oracle (CPQ)は、これらの目的間の最適な相互作用を特徴付けるフレームワークである。 本アルゴリズムは2つの基本原理に基づいて構築されている。一方は最適なクエリポリシーを規定し、他方はクエリされたサンプルから予測セットへの最適マッピングを定義する。
  論文  参考訳（メタデータ） (2025-06-05T18:26:14Z)
• Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
  予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。 我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。 単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:37:39Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Variational Information Pursuit for Interpretable Predictions [8.894670614193677]
  変分情報探索 (V-IP) は, 生成モデル学習の必要性を回避したIPの変分特性である。 V-IPは、典型的にはシーケンシャル意思決定問題で使用される強化学習と比較して、クエリチェーンがはるかに短い。 本稿では,V-IPが生成モデルよりも優れた医療診断などの課題に対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-02-06T15:43:48Z)
• A general framework for multi-step ahead adaptive conformal heteroscedastic time series forecasting [0.0]
  本稿では,適応アンサンブルバッチ多出力多出力共形量子化回帰(AEnbMIMOCQR)と呼ばれる新しいモデル非依存アルゴリズムを提案する。 これにより、予測者は、固定された特定された誤発見率に対して、分布のない方法で、複数段階の事前予測間隔を生成できる。 本手法は, 整合予測の原理に基づいているが, データの分割は不要であり, データの交換ができない場合でも, ほぼ正確なカバレッジを提供する。
  論文  参考訳（メタデータ） (2022-07-28T16:40:26Z)
• Collaborative Uncertainty Benefits Multi-Agent Multi-Modal Trajectory Forecasting [61.02295959343446]
  この研究はまず、相互作用モジュールから生じる不確実性をモデル化する新しい概念であるコラボレーティブ不確実性(CU)を提案する。 我々は、回帰と不確実性推定の両方を行うために、元の置換同変不確かさ推定器を備えた一般的なCU対応回帰フレームワークを構築した。 提案するフレームワークを,プラグインモジュールとして現在のSOTAマルチエージェント軌道予測システムに適用する。
  論文  参考訳（メタデータ） (2022-07-11T21:17:41Z)
• Interpretable by Design: Learning Predictors by Composing Interpretable Queries [8.054701719767293]
  機械学習アルゴリズムは設計によって解釈されるべきである。 正確な予測に必要なクエリの数を最小限に抑える。 視覚とNLPタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2022-07-03T02:40:34Z)
• Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
  対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。 共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。 本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
  論文  参考訳（メタデータ） (2021-02-17T17:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。