論文の概要: Can Tool-augmented Large Language Models be Aware of Incomplete Conditions?

• arxiv url: http://arxiv.org/abs/2406.12307v2
• Date: Sun, 29 Sep 2024 05:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:00:17.874317
• Title: Can Tool-augmented Large Language Models be Aware of Incomplete Conditions?
• Title（参考訳）: ツール強化された大規模言語モデルは不完全な条件に気付くことができるか?
• Authors: Seungbin Yang, ChaeHun Park, Taehee Kim, Jaegul Choo,
• Abstract要約: 本研究では,大規模言語モデルが不完全条件を識別し,いつツールの使用を控えるかを適切に判断できるかどうかを検討する。 特定ツールの利用に必要な追加情報と適切なツールの欠如を識別するために,ほとんどのLCMが課題であることを確認した。
• 参考スコア（独自算出の注目度）: 33.74511128798095
• License:
• Abstract: Recent advancements in integrating large language models (LLMs) with tools have allowed the models to interact with real-world environments. However, these \textit{tool-augmented LLMs} often encounter incomplete scenarios when users provide partial information or the necessary tools are unavailable. Recognizing and managing such scenarios is crucial for LLMs to ensure their reliability, but this exploration remains understudied. This study examines whether LLMs can identify incomplete conditions and appropriately determine when to refrain from using tools. To this end, we address a dataset by manipulating instances from two datasets by removing necessary tools or essential information for tool invocation. We confirm that most LLMs are challenged to identify the additional information required to utilize specific tools and the absence of appropriate tools. We further analyze model behaviors in different environments and compare their performance against humans. Our research can contribute to advancing reliable LLMs by addressing scenarios that commonly arise during interactions between humans and LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)とツールの統合の最近の進歩により、モデルが現実世界の環境と対話できるようになった。 しかし、これらの 'textit{tool-augmented LLMs} は、ユーザーが部分的な情報を提供したり、必要なツールが利用できない場合に、しばしば不完全なシナリオに遭遇する。 このようなシナリオの認識と管理は、LSMにとって信頼性を確保することが重要であるが、この調査はまだ検討されていない。 本研究では,LLMが不完全な条件を識別し,いつツールの使用を控えるかを適切に判断できるかどうかを検討する。 この目的のために、我々は2つのデータセットからインスタンスを操作することでデータセットに対処する。 特定ツールの利用に必要な追加情報と適切なツールの欠如を識別するために,ほとんどのLCMが課題であることを確認した。 さらに、異なる環境におけるモデル行動を分析し、その性能を人間と比較する。 我々の研究は、人間とLLMの相互作用において一般的に発生するシナリオに対処することで、信頼性の高いLLMの進化に寄与することができる。

関連論文リスト

• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Self-Training Large Language Models for Tool-Use Without Demonstrations [15.17750971071501]
  大規模言語モデル (LLMs) は、実際の不正確さや計算ミスに悩まされがちである。 最近の研究は、これらの欠点を緩和するツールを備えたLCMを強化しているが、しばしば金の工具使用デモを必要とする。 本稿では,LLMが実演なしでツールの活用を学べるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-02-09T12:06:10Z)
• Tool Unlearning for Tool-Augmented LLMs [14.755831733659699]
  ツール強化された大規模言語モデル(LLM)は、クエリとレスポンスのペアのデータセットに基づいてトレーニングされることが多い。 ToolDeleteは、ツール拡張LDMからの未学習ツールの最初のアプローチである。
  論文  参考訳（メタデータ） (2025-02-03T05:50:55Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• WTU-EVAL: A Whether-or-Not Tool Usage Evaluation Benchmark for Large Language Models [31.742620965039517]
  大きな言語モデル(LLM)は、NLPタスクに優れていますが、その能力を拡張するための外部ツールが必要です。 11個のデータセットでLCMを評価するためにW whether-or-notツール利用評価ベンチマーク(WTU-Eval)を導入する。 WTU-Eval 上での8つの LLM の結果は、LLM が一般的なデータセットでツールの使用方法を決定するのにしばしば苦労していることを示している。 微調整のLlama2-7Bは14%の性能向上と16.8%の誤ったツール使用率の低下をもたらす。
  論文  参考訳（メタデータ） (2024-07-02T12:07:38Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• Towards Practical Tool Usage for Continually Learning LLMs [28.62382804829694]
  大規模言語モデルは、言語ベースのタスクを解くために生まれつきのスキルを示す。 しかし、彼らの知識はパラメータの中に直接格納され、時間内には静的のままである。 ツールの使用は、LLMがインターフェイスを通してアクセス可能なシステムに作業をオフロードするのに役立つ。 しかし、それらを使用するLCMは、長期間使用するためには、まだ非定常環境に適応する必要がある。
  論文  参考訳（メタデータ） (2024-04-14T19:45:47Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• ToolEyes: Fine-Grained Evaluation for Tool Learning Capabilities of Large Language Models in Real-world Scenarios [49.33633818046644]
  本稿では,大規模言語モデルのツール学習能力を評価するためのシステムであるToolEyesを提案する。 このシステムは7つの現実シナリオを慎重に分析し、ツール学習においてLLMに不可欠な5次元を解析する。 ToolEyesには,約600のツールを備えたツールライブラリが組み込まれている。
  論文  参考訳（メタデータ） (2024-01-01T12:49:36Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [79.87054552116443]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。