論文の概要: Probing the Capacity of Language Model Agents to Operationalize Disparate Experiential Context Despite Distraction

• arxiv url: http://arxiv.org/abs/2411.12828v1
• Date: Tue, 19 Nov 2024 19:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:13:21.682673
• Title: Probing the Capacity of Language Model Agents to Operationalize Disparate Experiential Context Despite Distraction
• Title（参考訳）: 言語モデルエージェントの能力の検証 : 難読化にもかかわらず異なる経験的文脈を運用するために
• Authors: Sonny George, Chris Sypherd, Dylan Cashman,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、多くのドメインでpromiseを示す。 OEDDコーパス(OEDD corpus)を提案する。 我々は,最小限のチェーン・オブ・シークレット・プロンプト戦略を用いて,最先端の3つのLSMを評価した。
• 参考スコア（独自算出の注目度）: 0.8329456268842227
• License:
• Abstract: Large language model (LLM) agents show promise in an increasing number of domains. In many proposed applications, it is expected that the agent reasons over accumulated experience presented in an input prompt. We propose the OEDD (Operationalize Experience Despite Distraction) corpus, a human-annotator-validated body of scenarios with pre-scripted agent histories where the agent must make a decision based on disparate experiential information in the presence of a distractor. We evaluate three state-of-the-art LLMs (GPT-3.5 Turbo, GPT-4o, and Gemini 1.5 Pro) using a minimal chain-of-thought prompting strategy and observe that when (1) the input context contains over 1,615 tokens of historical interactions, (2) a crucially decision-informing premise is the rightful conclusion over two disparate environment premises, and (3) a trivial, but distracting red herring fact follows, all LLMs perform worse than random choice at selecting the better of two actions. Our code and test corpus are publicly available at: https://github.com/sonnygeorge/OEDD .
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、多くのドメインでpromiseを示す。 提案した多くのアプリケーションでは,入力プロンプトに蓄積された経験に対するエージェントの理由が期待できる。 OEDDコーパス(OEDD:Operationalize Experience Despite Distraction) corpus)は,エージェントがエージェントの存在下で異なる経験情報に基づいて決定を下さなければならない,予め記述されたエージェント履歴を持つ人間記述型アノテータ検証用シナリオのコーパスである。 我々は,(1)入力コンテキストに歴史的相互作用のトークンが1,615個以上含まれている場合,(2)重要な決定的前提は2つの異なる環境前提に対する正しい結論であり,(3)自明な結果だが,従ってレッド・ハーリングの事実は,すべてのLLMがランダムな選択よりも2つの行動の良さを選択することを観察する,最小限のチェーン・オブ・シント・プロジェクション戦略を用いて,最先端のLLM(GPT-3.5 Turbo,GPT-4o,Gemini 1.5 Pro)を3つ評価した。 私たちのコードとテストコーパスは、https://github.com/sonnygeorge/OEDD で公開されています。

関連論文リスト

• Auto-Intent: Automated Intent Discovery and Self-Exploration for Large Language Model Web Agents [68.22496852535937]
  本稿では,事前訓練された大規模言語モデル(LLM)を,直接微調整なしで対象ドメインのエージェントとして適用する手法であるAuto-Intentを紹介する。 提案手法はまず,対象領域の実証から意図を教師なしで発見する。 我々は、エージェントの過去の観察と行動から次の意図を予測するために、意図予測器を訓練する。
  論文  参考訳（メタデータ） (2024-10-29T21:37:04Z)
• Audit-LLM: Multi-Agent Collaboration for Log-based Insider Threat Detection [16.154903877808795]
  Audit-LLMは3つの協調エージェントからなるマルチエージェントログベースのインサイダー脅威検出フレームワークである。 本稿では,2つの独立実行者が推論交換を通じて結論を反復的に洗練し,合意に達するための,ペアワイズ・エビデンスに基づくマルチエージェント・ディベート(EMAD)機構を提案する。
  論文  参考訳（メタデータ） (2024-08-12T11:33:45Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Rumour Evaluation with Very Large Language Models [2.6861033447765217]
  本研究は,誤報に対処するために,プロンプトに依存しない大規模言語モデルの進歩を活用することを提案する。 我々は2つのRumourEvalサブタスクを拡張するために2つのプロンプトベースのLLM変種を用いる。 精度予測のために、GPT変種ごとに3つの分類スキームが実験され、各スキームはゼロ、ワンショット、および少数ショット設定で試験される。 スタンス分類では、プロンプトベースのアパッチは先行結果に匹敵する性能を示し、微調整法に比較して改善はない。
  論文  参考訳（メタデータ） (2024-04-11T19:38:22Z)
• Can large language models explore in-context? [87.49311128190143]
  単純なマルチアームバンディット環境において,エージェントとして大規模言語モデルをデプロイする。 モデルが実質的な介入なしには、探索にしっかりと関わっていないことが分かっています。
  論文  参考訳（メタデータ） (2024-03-22T17:50:43Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)
• On Generative Agents in Recommendation [58.42840923200071]
  Agent4Recは、Large Language Modelsに基づいたレコメンデーションのユーザーシミュレータである。 各エージェントは、ページ単位でパーソナライズされた推奨モデルと対話する。
  論文  参考訳（メタデータ） (2023-10-16T06:41:16Z)
• Language Agent Tree Search Unifies Reasoning Acting and Planning in Language Models [31.509994889286183]
  我々はLanguage Agent Tree Search (LATS)を紹介した。Language Agent Tree Search (LATS)は、推論、行動、計画において言語モデル(LM)の能力を相乗化する最初の一般的なフレームワークである。 当社のアプローチの重要な特徴は、より意図的で適応的な問題解決メカニズムを提供する外部フィードバック環境の導入である。 LATSは、GPT-4でHumanEval上でプログラミングするための最先端パス@1精度(92.7%)を達成し、GPTによるWebShop上のWebナビゲーションの勾配ベースの微調整に匹敵する勾配なし性能(平均スコア75.9)を示す。
  論文  参考訳（メタデータ） (2023-10-06T17:55:11Z)
• Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
  ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。 そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。 NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
  論文  参考訳（メタデータ） (2023-06-16T09:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。