論文の概要: Agent-Based Detection and Resolution of Incompleteness and Ambiguity in Interactions with Large Language Models

• arxiv url: http://arxiv.org/abs/2507.03726v1
• Date: Fri, 04 Jul 2025 17:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.852053
• Title: Agent-Based Detection and Resolution of Incompleteness and Ambiguity in Interactions with Large Language Models
• Title（参考訳）: エージェントによる大規模言語モデルとの相互作用における不完全性と曖昧性の検出と解決
• Authors: Riya Naik, Ashwin Srinivasan, Swati Agarwal, Estrid He,
• Abstract要約: 本稿では, LLMに基づく質問応答システムにエージェント・ベース・アーキテクチャを付加的な推論能力で活用することを検討した。 我々は、不完全性と曖昧性の欠陥を検知し解決する専門家として働くエージェントを、異なるLLMに装備する。 エージェントベースのアプローチを提案することは、LLMのパワーを利用してより堅牢なQAシステムを開発するための有用なメカニズムである。
• 参考スコア（独自算出の注目度）: 0.9856777842758593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many of us now treat LLMs as modern-day oracles asking it almost any kind of question. However, consulting an LLM does not have to be a single turn activity. But long multi-turn interactions can get tedious if it is simply to clarify contextual information that can be arrived at through reasoning. In this paper, we examine the use of agent-based architecture to bolster LLM-based Question-Answering systems with additional reasoning capabilities. We examine the automatic resolution of potential incompleteness or ambiguities in questions by transducers implemented using LLM-based agents. We focus on several benchmark datasets that are known to contain questions with these deficiencies to varying degrees. We equip different LLMs (GPT-3.5-Turbo and Llama-4-Scout) with agents that act as specialists in detecting and resolving deficiencies of incompleteness and ambiguity. The agents are implemented as zero-shot ReAct agents. Rather than producing an answer in a single step, the model now decides between 3 actions a) classify b) resolve c) answer. Action a) decides if the question is incomplete, ambiguous, or normal. Action b) determines if any deficiencies identified can be resolved. Action c) answers the resolved form of the question. We compare the use of LLMs with and without the use of agents with these components. Our results show benefits of agents with transducer 1) A shortening of the length of interactions with human 2) An improvement in the answer quality and 3) Explainable resolution of deficiencies in the question. On the negative side we find while it may result in additional LLM invocations and in some cases, increased latency. But on tested datasets, the benefits outweigh the costs except when questions already have sufficient context. Suggesting the agent-based approach could be a useful mechanism to harness the power of LLMs to develop more robust QA systems.
• Abstract（参考訳）: 現在、私たちはLLMを現代のオラクルとして扱い、ほとんどあらゆる種類の質問をしています。 しかし、LLMのコンサルティングは単一のターンアクティビティである必要はない。 しかし、長いマルチターン相互作用は、単に推論を通じて到達可能なコンテキスト情報を明確にするだけであれば、面倒になる可能性がある。 本稿では, LLMに基づく質問応答システムにエージェント・ベース・アーキテクチャを用いることで, さらなる推論機能を備えた質問応答システムについて検討する。 LLMエージェントを用いて実装したトランスデューサによる質問の潜在的な不完全性や曖昧性の自動解決について検討する。 我々は、これらの欠陥に関する質問を様々な程度に含むことが知られているいくつかのベンチマークデータセットに焦点を当てる。 我々は,不完全性および曖昧性の欠如を検知・解決する専門家として働くエージェントを,異なるLLM(GPT-3.5-TurboおよびLlama-4-Scout)に装備する。 エージェントはゼロショットのReActエージェントとして実装される。 1つのステップで回答を生成するのではなく、モデルが3つのアクションの間で決定するのです。 分類; 分類; 分類; 分類 b)解決する c) 答え。 行動 a) 疑問が不完全であるか,曖昧であるか,あるいは正常であるかを判断すること。 行動 b) 特定された欠陥が解決できるか否かを判断する。 行動 c) 解決された問題の形式に答える。 LLMとエージェントの使用の有無をこれらのコンポーネントと比較する。 以上の結果から,トランスデューサを用いたエージェントのメリットが示された。 1)人間との相互作用の長さの短縮 2【回答の質・質の向上】 3) 問題の欠陥の説明可能な解決 負の側面では、追加のLCM呼び出しが発生し、場合によってはレイテンシが増加する可能性がある。 しかし、テストされたデータセットでは、質問が既に十分なコンテキストを持っている場合を除いて、その利点はコストを上回る。 エージェントベースのアプローチを提案することは、LLMのパワーを利用してより堅牢なQAシステムを開発するための有用なメカニズムである。

関連論文リスト

• An Empirical Study of the Role of Incompleteness and Ambiguity in Interactions with Large Language Models [0.9856777842758593]
  人間の言語モデルと大規模言語モデル(LLM)の相互作用をモデル化するニューラルシンボリック・フレームワークを提案する。 我々は質問の不完全性とあいまいさを、インタラクションで交換されたメッセージから導出可能な特性として定義する。 その結果,不完全性やあいまいな質問の比率が高いデータセットでは,マルチターンインタラクションが要求されることがわかった。
  論文  参考訳（メタデータ） (2025-03-23T04:34:30Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
  本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。 本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Are LLMs Aware that Some Questions are not Open-ended? [58.93124686141781]
  大規模言語モデルでは、いくつかの質問が限定的な回答を持ち、より決定論的に答える必要があることを認識しているかどうかを調査する。 LLMにおける疑問認識の欠如は,(1)非オープンな質問に答えるにはカジュアルすぎる,(2)オープンな質問に答えるには退屈すぎる,という2つの現象をもたらす。
  論文  参考訳（メタデータ） (2024-10-01T06:07:00Z)
• Multi-LLM QA with Embodied Exploration [55.581423861790945]
  未知環境における質問応答におけるマルチエンボディードLEMエクスプローラ(MELE)の利用について検討する。 複数のLSMベースのエージェントが独立して家庭用環境に関する質問を探索し、回答する。 各問合せに対して1つの最終回答を生成するために,異なるアグリゲーション手法を解析する。
  論文  参考訳（メタデータ） (2024-06-16T12:46:40Z)
• Perception of Knowledge Boundary for Large Language Models through Semi-open-ended Question Answering [67.94354589215637]
  大きな言語モデル(LLM)は知識探索に広く用いられているが、幻覚に悩まされている。 本稿では,LLMの知識境界(KB)を半オープンな質問(SoeQ)で知覚する。 GPT-4 は SoeQ では性能が悪く,KB に気づいていないことが多い。 我々の補助モデルであるLLaMA-2-13Bは、より曖昧な答えを見つけるのに有効である。
  論文  参考訳（メタデータ） (2024-05-23T10:00:14Z)
• ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
  外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。 エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。 引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-12-15T18:20:15Z)
• Probing the Multi-turn Planning Capabilities of LLMs via 20 Question Games [14.063311955315077]
  大規模言語モデル(LLM)は、明らかに求められている質問に答えるのに効果的である。 不明瞭なクエリに直面した場合、予測不能に動作し、誤った出力を生成することができる。 このことは、曖昧さを効果的に解決するために明確化を問うことができる知的エージェントの開発の必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-02T16:55:37Z)
• Enabling Intelligent Interactions between an Agent and an LLM: A Reinforcement Learning Approach [31.6589518077397]
  大規模言語モデル(LLM)は、大量のテキストデータセットから得られた膨大な量の世界の知識を符号化する。 LLMは、高レベルな命令を提供することで、複雑なシーケンシャルな意思決定タスクを解決するための実施エージェントを支援することができる。 本研究では,高レベルの命令に対してLLMを問合せする必要がある場合に学習する強化学習ベースのアプローチである When2Ask を提案する。
  論文  参考訳（メタデータ） (2023-06-06T11:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。