論文の概要: An Empirical Study of the Role of Incompleteness and Ambiguity in Interactions with Large Language Models
- arxiv url: http://arxiv.org/abs/2503.17936v1
- Date: Sun, 23 Mar 2025 04:34:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:39:19.939557
- Title: An Empirical Study of the Role of Incompleteness and Ambiguity in Interactions with Large Language Models
- Title（参考訳）: 大規模言語モデルとの相互作用における不完全性と曖昧性の役割に関する実証的研究
- Authors: Riya Naik, Ashwin Srinivasan, Estrid He, Swati Agarwal,
- Abstract要約: 人間の言語モデルと大規模言語モデル(LLM)の相互作用をモデル化するニューラルシンボリック・フレームワークを提案する。
我々は質問の不完全性とあいまいさを、インタラクションで交換されたメッセージから導出可能な特性として定義する。
その結果,不完全性やあいまいな質問の比率が高いデータセットでは,マルチターンインタラクションが要求されることがわかった。
- 参考スコア（独自算出の注目度）: 0.9856777842758593
- License:
- Abstract: Natural language as a medium for human-computer interaction has long been anticipated, has been undergoing a sea-change with the advent of Large Language Models (LLMs) with startling capacities for processing and generating language. Many of us now treat LLMs as modern-day oracles, asking it almost any kind of question. Unlike its Delphic predecessor, consulting an LLM does not have to be a single-turn activity (ask a question, receive an answer, leave); and -- also unlike the Pythia -- it is widely acknowledged that answers from LLMs can be improved with additional context. In this paper, we aim to study when we need multi-turn interactions with LLMs to successfully get a question answered; or conclude that a question is unanswerable. We present a neural symbolic framework that models the interactions between human and LLM agents. Through the proposed framework, we define incompleteness and ambiguity in the questions as properties deducible from the messages exchanged in the interaction, and provide results from benchmark problems, in which the answer-correctness is shown to depend on whether or not questions demonstrate the presence of incompleteness or ambiguity (according to the properties we identify). Our results show multi-turn interactions are usually required for datasets which have a high proportion of incompleteness or ambiguous questions; and that that increasing interaction length has the effect of reducing incompleteness or ambiguity. The results also suggest that our measures of incompleteness and ambiguity can be useful tools for characterising interactions with an LLM on question-answeringproblems
- Abstract（参考訳）: 人-コンピュータインタラクションの媒体としての自然言語は、長年予測されてきたが、言語処理と生成の起動能力を備えたLarge Language Models (LLM) の出現に伴い、海の変化が続いている。
現在、私たちはLLMを現代のオラクルとして扱い、ほとんどあらゆる種類の質問をしています。
デルフィック以前のものとは異なり、LLMのコンサルティングはシングルターンアクティビティ(質問、回答、離脱)である必要はない。
本稿では,LLMとのマルチターンインタラクションが必要な場合の解答を成功させるか,あるいは解答不可能であると結論付けることを目的としている。
我々は人間とLLMエージェントの相互作用をモデル化するニューラルネットワークのシンボリック・フレームワークを提案する。
提案する枠組みを通じて,質問の不完全性とあいまいさを,インタラクションで交換されたメッセージから導出可能な特性として定義し,不完全性やあいまいさの存在を示すかどうか(特定した特性による)に回答の正確性を示すベンチマーク問題の結果を提供する。
これらの結果から,不完全性やあいまいな質問の比率が高いデータセットでは,マルチターンインタラクションが要求されることが多く,相互作用長の増加は不完全性やあいまいさを減少させる効果があることが示唆された。
以上の結果から,不完全性およびあいまい性の尺度は,質問応答確率のLLMとの相互作用を特徴づける上で有用であることが示唆された。
関連論文リスト
- Active Task Disambiguation with LLMs [48.54945212561785]
本稿では,タスクあいまいさの形式的定義を導入し,ベイズ実験設計のレンズによるタスクあいまいさの問題について考察する。
提案手法により,LLMエージェントは情報ゲインを最大化する目的の質問を生成することができる。
経験的な結果から、この形式の質問選択は、質問空間内でのみ推論に依存するアプローチに比べて、より効果的なタスクの曖昧さをもたらすことが示されている。
論文 参考訳（メタデータ） (2025-02-06T20:20:22Z) - Knowledge Graphs, Large Language Models, and Hallucinations: An NLP Perspective [5.769786334333616]
大規模言語モデル(LLM)は、自動テキスト生成や質問応答などを含む自然言語処理(NLP)ベースのアプリケーションに革命をもたらした。
幻覚では、モデルがもっともらしい音を出すが、実際には正しくない反応を生成する。
本稿では,現状のデータセットやベンチマーク,知識統合や幻覚評価の手法など,これらのオープンな課題について論じる。
論文 参考訳（メタデータ） (2024-11-21T16:09:05Z) - Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering [15.342415325821063]
自然言語の曖昧さは、オープンドメインの質問応答に使用される大規模言語モデル(LLM)に重大な課題をもたらす。
我々は,明示的曖昧化戦略の効果を計測することに集中して,市販のLLM性能と数発のLLM性能を比較した。
本研究では, 難解な問合せタスクにおいて, LLM性能を向上させるために, 簡単な, トレーニング不要, トークンレベルの曖昧さを効果的に活用できることを実証する。
論文 参考訳（メタデータ） (2024-11-19T10:27:26Z) - Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。
本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。
本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
論文 参考訳（メタデータ） (2024-07-20T11:19:58Z) - Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
インタラクションの文脈的特徴が依存に与える影響について検討する。
文脈特性が人間の信頼行動に大きく影響していることが判明した。
これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-07-10T18:00:05Z) - Quriosity: Analyzing Human Questioning Behavior and Causal Inquiry through Curiosity-Driven Queries [91.70689724416698]
本稿では,3つの情報源から自然発生の13.5Kの質問を集めたQuriosityを紹介する。
分析の結果,データセットに因果的疑問(最大42%)が存在することが明らかとなった。
論文 参考訳（メタデータ） (2024-05-30T17:55:28Z) - Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。
質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。
我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
論文 参考訳（メタデータ） (2024-05-26T22:30:29Z) - Empowering Language Models with Active Inquiry for Deeper Understanding [31.11672018840381]
対話型エンゲージメントを備えた大規模言語モデルを実現するために設計されたLaMAI(Language Model with Active Inquiry)を紹介する。
LaMAIは、アクティブな学習技術を使用して、最も有意義な質問を提起し、動的双方向対話を育む。
様々な複雑なデータセットにわたる実証研究は、LaMAIの有効性を実証している。
論文 参考訳（メタデータ） (2024-02-06T05:24:16Z) - You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments [37.03210795084276]
本稿では, 大規模言語モデルが応答を一貫した, 頑健な方法で引き起こすかどうかを考察する。
17種類のLDM実験により,単純な摂動でさえモデルの問合せ能力を大幅に低下させることが判明した。
その結果,現在広く普及しているプロンプトは,モデル知覚を正確にかつ確実に捉えるには不十分であることが示唆された。
論文 参考訳（メタデータ） (2023-11-16T09:50:53Z) - Towards Mitigating Hallucination in Large Language Models via
Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。
本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文 参考訳（メタデータ） (2023-10-10T03:05:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。