論文の概要: Measuring temporal effects of agent knowledge by date-controlled tool use

• arxiv url: http://arxiv.org/abs/2503.04188v1
• Date: Thu, 06 Mar 2025 08:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 17:59:00.729297
• Title: Measuring temporal effects of agent knowledge by date-controlled tool use
• Title（参考訳）: 日付制御ツールによるエージェント知識の時間的効果の測定
• Authors: R. Patrick Xian, Qiming Cui, Stefan Bauer, Reza Abbasi-Asl,
• Abstract要約: 我々は,日付制御ツールから大規模言語モデル(LLM)エージェントの知識変動を測定するために,ツールベースのサンプル外テストフレームワークを構築した。 検索エンジンの時間的効果はツール依存エージェントのパフォーマンスに変換されるが,基本モデルの選択や明示的な推論命令によって緩和できることを示す。
• 参考スコア（独自算出の注目度）: 14.994533955052113
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Temporal progression is an integral part of knowledge accumulation and update. Web search is frequently adopted as grounding for agent knowledge, yet its inappropriate configuration affects the quality of agent responses. Here, we construct a tool-based out-of-sample testing framework to measure the knowledge variability of large language model (LLM) agents from distinct date-controlled tools (DCTs). We demonstrate the temporal effects of an LLM agent as a writing assistant, which can use web search to help complete scientific publication abstracts. We show that temporal effects of the search engine translates into tool-dependent agent performance but can be alleviated with base model choice and explicit reasoning instructions such as chain-of-thought prompting. Our results indicate that agent evaluation should take a dynamical view and account for the temporal influence of tools and the updates of external resources.
• Abstract（参考訳）: 時間的進歩は知識の蓄積と更新の不可欠な部分である。 Web検索はしばしばエージェント知識の基盤として採用されるが、その不適切な構成はエージェント応答の品質に影響を及ぼす。 そこで我々は,大規模言語モデル (LLM) エージェントの知識変動を,異なる日付制御ツール (DCT) から測定するために,ツールベースのアウトオブサンプルテストフレームワークを構築した。 本稿では,LLMエージェントの書記アシスタントとしての時間的効果を実演し,Web検索を用いて学術論文の要約の完全化を支援する。 検索エンジンの時間的効果はツール依存エージェントのパフォーマンスに変換されるが,基本モデルの選択やチェーン・オブ・シークレット・プロンプトのような明確な推論命令によって緩和できることを示す。 この結果から, エージェント評価は動的視点を取り入れ, ツールの時間的影響と外部リソースの更新を考慮すべきであることが示唆された。

関連論文リスト

• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• SMART: Self-Aware Agent for Tool Overuse Mitigation [58.748554080273585]
  現在のLarge Language Model (LLM) エージェントは、強力な推論とツールの使用能力を示すが、しばしば自己認識に欠ける。 この不均衡はツール・オーバーユースにつながり、モデルはパラメトリックな知識を持つタスクに対して、不要に外部ツールに依存する。 SMART(Strategic Model-Aware Reasoning with Tools)は、エージェントの自己認識を高め、タスクハンドリングを最適化し、ツールの過剰使用を減らすパラダイムである。
  論文  参考訳（メタデータ） (2025-02-17T04:50:37Z)
• Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
  ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。 ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。 3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-05T15:08:16Z)
• KwaiAgents: Generalized Information-seeking Agent System with Large Language Models [33.59597020276034]
  人間は批判的思考、計画、リフレクション、世界と対話し解釈するための利用可能なツールの活用に優れています。 大規模言語モデル(LLM)の最近の進歩は、マシンが前述の人間のような能力を持っていることも示唆している。 LLMに基づく汎用情報検索システムであるKwaiAgentsを紹介する。
  論文  参考訳（メタデータ） (2023-12-08T08:11:11Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Differential Assessment of Black-Box AI Agents [29.98710357871698]
  従来知られていたモデルから逸脱したブラックボックスAIエージェントを差分評価する手法を提案する。 我々は,漂流エージェントの現在の挙動と初期モデルの知識の疎度な観察を利用して,アクティブなクエリポリシーを生成する。 経験的評価は、エージェントモデルをスクラッチから再学習するよりも、我々のアプローチの方がはるかに効率的であることを示している。
  論文  参考訳（メタデータ） (2022-03-24T17:48:58Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)
• Explaining Reinforcement Learning Policies through Counterfactual Trajectories [147.7246109100945]
  人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。 本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。 本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
  論文  参考訳（メタデータ） (2022-01-29T00:52:37Z)
• Temporal-Spatial Causal Interpretations for Vision-Based Reinforcement Learning [45.77486829658102]
  本稿では,エージェントの長期的行動を理解するために,時間空間因果解釈(TSCI)モデルを提案する。 TSCIモデルは,タスク関連時間空間情報を強調するために,高分解能かつ鋭い注意マスクを生成することができることを示す。
  論文  参考訳（メタデータ） (2021-12-06T13:24:17Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• Agent Modelling under Partial Observability for Deep Reinforcement Learning [12.903487594031276]
  エージェントモデリングの既存の方法は、実行中にローカルな観察とモデル化されたエージェントの選択されたアクションの知識を仮定する。 制御されたエージェントの局所的な観察に基づいて,モデル化されたエージェントの表現を抽出することを学ぶ。 これらの表現は、深い強化学習を通じて訓練された制御エージェントの決定ポリシーを強化するために使用される。
  論文  参考訳（メタデータ） (2020-06-16T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。