論文の概要: Not All Information Is Worth Asking For: Decision-Informed Information Seeking with LLMs

• arxiv url: http://arxiv.org/abs/2610.32181v1
• Date: Fri, 23 Oct 2026 05:27:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.395778
• Title: Not All Information Is Worth Asking For: Decision-Informed Information Seeking with LLMs
• Title（参考訳）: LLMで情報を探す決定インフォームド・インフォームド・インフォメーション
• Abstract要約: 大規模言語モデル(LLM)は、不完全な情報に基づく決定をサポートするためにますます使われる。 意思決定情報取得(DIVA)を提案する。 証拠の判定値に基づいてLLM情報を求めるための簡易かつ効果的な手順である。
• 参考スコア（独自算出の注目度）: 13.359564942661251
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly used to support decisions under incomplete information, where deciding what to look up and when to stop matters as much as the final answer. However, LLMs fall into an information trap: They pay for checks, i.e., costly pieces of evidence, that cannot change their decision or are not worth their cost, and they keep asking when the evidence is already sufficient. To this end, we propose Decision-Informed Value-of-information Acquisition (DIVA), a simple yet effective procedure for LLM information seeking based on the decision value of evidence. DIVA 1) lets the LLM specify a small decision model, i.e., how likely a bad outcome is and how each check would shift this probability, through short numeric questions and 2) values each candidate check by how much its imagined outcomes improve the decision net of its cost, stopping when no check is worth its cost. Its variant, DIVA-U, further accounts for the LLM's uncertain estimates of how strongly each check shifts this probability. DIVA is training-free and applies to any LLM. Across four domains and 20 LLMs, DIVA-U has lower regret, i.e., value lost relative to the best possible decision, than every LLM baseline on real-world data, mainly by stopping once evidence suffices, and DIVA cuts the regret of the best LLM baseline by 75% in synthetic scenarios where every check's reliability is given. Code: github.com/seunghan96/diva.
• Abstract（参考訳）: 大規模言語モデル(LLM)は不完全な情報の下で決定をサポートするためにますます使われており、そこで何を探すか、いつ何を止めるかは最終回答と同じくらいである。 しかし、LSMは情報罠に陥る:彼らはチェック、すなわち、決定を変えることができない、あるいはコストに値しない証拠を支払い、証拠が既に十分であるかどうかを問う。 この目的のために我々は,証拠の判定値に基づくLCM情報の簡易かつ効果的な方法であるDIVA(Decision-Informed Value-of-information Acquisition)を提案する。 DiVA 1) LLMは、小さな決定モデル、すなわち、どれだけ悪い結果が起こるか、そして各チェックがこの確率を、短い数値的な質問を通してどのようにシフトするかを指定させる。 2) 各候補は、予測された結果がコストの意思決定ネットをどれだけ改善するかによってチェックを評価します。 その変種である DIVA-U は、それぞれのチェックがこの確率をどれだけ強くシフトするかを LLM が不確実に見積もっている。 DIVAはトレーニングフリーであり、いかなるLLMにも適用できる。 4つの領域と20のLLMにおいて、DIVA-Uは、最良な決定に対する価値の損失を、実世界のすべてのLLMベースラインよりも低くし、主に一度の証拠が十分であるのを止め、DIVAは全てのチェックの信頼性が与えられる合成シナリオにおいて、最高のLLMベースラインの後悔を75%削減する。 コード:github.com/seunghan96/diva

関連論文リスト

• ReDAct: Uncertainty-Aware Deferral for LLM Agents [61.507376922278894]
  本稿では、逐次意思決定問題を解決するためにReDAct(Reason-Defer-Act)を提案する。 ReDActでは、エージェントは2つのLSMを備えている: デフォルトで使用される小型で安価なモデルと、大きくて信頼性が高くて高価なモデルである。 提案手法では,大モデルに対する決定の約15%のみを遅延させることで,推論コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2026-04-08T12:51:01Z)
• Do Large Language Models Know What They Are Capable Of? [1.4254497466846006]
  大規模言語モデル(LLM)が与えられたタスクで成功するかどうかを予測できるかどうかを検討する。 また、LLMがコンテキスト内経験から学び、障害がコストのかかるシナリオでタスクを追求するかどうかをよりよく判断できるかどうかについても検討する。
  論文  参考訳（メタデータ） (2025-12-31T06:14:46Z)
• Cash or Comfort? How LLMs Value Your Inconvenience [2.7499311489580065]
  大規模言語モデル(LLM)は、人間に代わって日常的な決定を行うことができるほぼ自律的な人工知能(AI)エージェントとして、ますます提案されている。 以前の研究では、人間の決定と合理性と道徳的整合性を評価してきた。 我々は、複数のLCMが割り当てる価格を、一連のユーザ不愉快さに定量化する。 現状のLCMを意思決定アシスタントとして活用する可能性に疑問を呈する重要な懸念がいくつか浮かび上がっている。
  論文  参考訳（メタデータ） (2025-06-20T14:49:20Z)
• Cost-aware LLM-based Online Dataset Annotation [14.69261466438399]
  CaMVoは、効率的かつ正確なデータセットアノテーションのためのオンラインフレームワークである。 事前トレーニングや地道ラベルを必要とせずに、コンテキスト埋め込み、信頼性とコストのバランスを取る。 過半数の投票に匹敵する、あるいは優れた精度を達成し、ラベルのコストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-05-21T04:49:44Z)
• Balancing Truthfulness and Informativeness with Uncertainty-Aware Instruction Fine-Tuning [79.48839334040197]
  インストラクション微調整(IFT)は、大きな言語モデル(LLM)の知性を高めるが、その真偽を減少させる可能性がある。 本稿では,IFTデータセットにおける不慣れな知識がLLMの真偽にどのように悪影響を及ぼすかを実証的に示す。 この問題に対処するために、新しいIFTパラダイムである$UNIT_cut$と$UNIT_ref$を導入します。
  論文  参考訳（メタデータ） (2025-02-17T16:10:30Z)
• Cost-Saving LLM Cascades with Early Abstention [1.3108652488669732]
  LLMカスケードにおける「早期禁忌」の利点について検討した。 6つのベンチマークで,テスト全体の損失を平均2.2%削減できることがわかった。 これらの利得は、より効果的な禁制の使用、総禁制率の4.1%の平均的な増加、コストの13.0%の削減、エラー率の5.0%の削減によって生じる。
  論文  参考訳（メタデータ） (2025-02-13T08:08:39Z)
• OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
  大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。 当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。 OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-24T01:05:37Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。