論文の概要: DORA Explorer: Improving the Exploration Ability of LLMs Without Training

• arxiv url: http://arxiv.org/abs/2604.17244v1
• Date: Sun, 19 Apr 2026 04:07:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.413412
• Title: DORA Explorer: Improving the Exploration Ability of LLMs Without Training
• Title（参考訳）: DORAエクスプローラー:トレーニングなしでのLLMの探索能力の改善
• Authors: Priya Gurjar, Md Farhan Ishmam, Kenneth Marino,
• Abstract要約: テキストアドベンチャー学習環境スイート(TALES)エージェントの探索を改善するためのトレーニングフリーフレームワークであるDORA Explorerを紹介する。 DORAは多様なアクション候補を生成し、トークンログ確率を用いてスコア付けし、調整可能な探索パラメータを使用してアクションを選択する。 我々は,MABにおけるUCB競合性能とTALES全体の一貫した利得を実現し,テキストワールドにおけるQwen2.5-7Bの性能を29.2%から45.5%に向上させた。
• 参考スコア（独自算出の注目度）: 6.2442095118482825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the rapid progress, LLMs for sequential decision-making (i.e., LLM agents) still struggle to produce diverse outputs. This leads to insufficient exploration, convergence to sub-optimal solutions, and becoming stuck in loops. Such limitations can be problematic in environments that require active exploration to gather information and make decisions. Sampling methods such as temperature scaling introduce token-level randomness but fail to produce enough diversity at the sequence level. We analyze LLM exploration in the classic Multi-Armed Bandit (MAB) setting and the Text Adventure Learning Environment Suite (TALES). We find that current decoding strategies and prompting methods like Chain-of-Thought and Tree-of-Thought are insufficient for robust exploration. To address this, we introduce DORA Explorer (Diversity-Oriented Ranking of Actions), a training-free framework for improving exploration in LLM agents. DORA generates diverse action candidates, scores them using token log-probabilities, and selects actions using a tunable exploration parameter. DORA achieves UCB-competitive performance on MAB and consistent gains across TALES, e.g., improving Qwen2.5-7B's performance from 29.2% to 45.5% in TextWorld. Our project is available at: https://dora-explore.github.io/.
• Abstract（参考訳）: 急速な進歩にもかかわらず、連続的な意思決定(LLMエージェント)のためのLLMは、多種多様なアウトプットを生み出すのに苦戦している。 これにより、探索が不十分になり、準最適解に収束し、ループで立ち往生する。 このような制限は、情報を収集し意思決定を行うために活発な探索を必要とする環境において問題となることがある。 温度スケーリングのようなサンプリング手法はトークンレベルのランダム性を導入するが、シーケンスレベルで十分な多様性が得られない。 古典的マルチアーマッド・バンディット(MAB)設定とテキストアドベンチャー学習環境スイート(TALES)におけるLCM探索の分析を行った。 現在のデコード戦略やChain-of-ThoughtやTree-of-Thoughtといった手法は、堅牢な探索には不十分であることがわかった。 そこで本研究では,LDMエージェントの探索を改善するためのトレーニングフリーフレームワークであるDORAエクスプローラーを紹介する。 DORAは多様なアクション候補を生成し、トークンログ確率を用いてスコア付けし、調整可能な探索パラメータを使用してアクションを選択する。 DORA は MAB 上での UCB 競合性能と TALES 全体での一貫した利得を実現し、Qwen2.5-7B のパフォーマンスを TextWorld の 29.2% から 45.5% に改善した。 私たちのプロジェクトは、https://dora-explore.github.io/で利用可能です。

関連論文リスト

• Planning to Explore: Curiosity-Driven Planning for LLM Test Generation [33.08809975771204]
  テスト生成の現在のアプローチは、即時カバレッジゲインを最大化する戦略に依存している。 ベイズ探索の原理を用いて,プログラムの分岐構造を未知の環境として扱う。 提案手法はTestGenEval Liteのグリーディ選択に優れ,3つのLLMで51～77%,77～84%の目標で勝利した。
  論文  参考訳（メタデータ） (2026-04-06T20:40:29Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• Should You Use Your Large Language Model to Explore or Exploit? [57.98066234509361]
  探索・探索トレードオフに直面した意思決定エージェントを支援するために,大規模言語モデルの能力を評価する。 現在のLLMは、しばしば利用に苦労するが、小規模タスクのパフォーマンスを大幅に改善するために、コンテキスト内緩和が用いられる可能性がある。
  論文  参考訳（メタデータ） (2025-01-31T23:42:53Z)
• Can large language models explore in-context? [87.49311128190143]
  単純なマルチアームバンディット環境において,エージェントとして大規模言語モデルをデプロイする。 モデルが実質的な介入なしには、探索にしっかりと関わっていないことが分かっています。
  論文  参考訳（メタデータ） (2024-03-22T17:50:43Z)
• Sequential Planning in Large Partially Observable Environments guided by LLMs [0.0]
  大規模状態空間と行動空間の連続的な計画は、探索空間の爆発により、すぐに困難になる。 モンテカルロ木探索のようなヒューリスティックな手法は、大きな状態空間に対して有効であるが、アクション空間が大きければ困難である。 本稿では,状態空間探索とクエリを併用したハイブリッドエージェント"neoplanner"を提案する。
  論文  参考訳（メタデータ） (2023-12-12T15:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。