論文の概要: Sample, Predict, then Proceed: Self-Verification Sampling for Tool Use of LLMs

• arxiv url: http://arxiv.org/abs/2506.02918v1
• Date: Tue, 03 Jun 2025 14:20:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.784458
• Title: Sample, Predict, then Proceed: Self-Verification Sampling for Tool Use of LLMs
• Title（参考訳）: サンプル, 予測, 証明: LLMのツール使用のための自己検証サンプリング
• Authors: Shangmin Guo, Omar Darwiche Domingues, Raphaël Avalos, Aaron Courville, Florian Strub,
• Abstract要約: DyMoは、トレーニング後の関数呼び出しと並行して、状態予測機能を備えた大きな言語モデルを拡張する方法である。 バークレー・コールリング・リーダーボードV2では、DyMoは成功率を改善し、幻覚を著しく減少させる。
• 参考スコア（独自算出の注目度）: 10.869453070055705
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tool use in stateful environments presents unique challenges for large language models (LLMs), where existing test-time compute strategies relying on repeated trials in the environment are impractical. We propose dynamics modelling (DyMo), a method that augments LLMs with a state prediction capability alongside function calling during post-training. This enables LLMs to predict the future states of their actions through an internal environment model. On the Berkeley Function Calling Leaderboard V2, DyMo improves success rates and significantly reduces hallucinations. We further integrate the internal environment model into self-verification sampling (SVS), and show that this substantially improves pass^k over number of trials k, and allows the model to refuse unreliable outputs. Together, DyMo and SVS greatly enhance the effectiveness and reliability of LLMs for tool use. We believe this work charts a path towards scalable planning RL methods for LLM inference without repeatedly querying the oracle environment.
• Abstract（参考訳）: ステートフルな環境でのツールの使用は、大規模な言語モデル(LLM)に固有の課題をもたらします。 本稿では,後処理中の関数呼び出しと並行して,状態予測機能を備えたLCMを拡張した動的モデリング(DyMo)を提案する。 これにより、LCMは内部環境モデルを通じて行動の将来の状態を予測できる。 バークレー関数呼び出しリーダーボードV2では、DyMoは成功率を改善し、幻覚を著しく減少させる。 さらに、内部環境モデルを自己検証サンプリング(SVS)に統合し、これは試験kの回数よりもパス^kを大幅に改善し、信頼できない出力を拒否できることを示す。 DyMoとSVSは共に、ツール使用におけるLLMの有効性と信頼性を大幅に向上させた。 本研究は,LLM推論のためのスケーラブルな計画RL手法への道筋を,オラクル環境に何度も問い合わせることなくグラフ化する。

関連論文リスト

• Test-Time Learning for Large Language Models [33.11605667376906]
  大規模言語モデル(LLM)のためのテスト時間学習(TTL)パラダイムを提案する。 LLMはテスト中にラベルなしのテストデータのみを使用してターゲットドメインに動的に適応する。 TLMはドメイン知識適応における元のLLMと比較して少なくとも20%性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-27T02:18:59Z)
• Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
  本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。 提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
  論文  参考訳（メタデータ） (2025-04-02T20:33:27Z)
• In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting [33.89176174108559]
  大規模言語モデル(LLM)の文脈内学習は、いくつかの例で拡張された命令に基づいて予測を行う。 ICLの既存の例選択方法はスパースまたは高密度レトリバーを使用し、有効性能を導出する。 本稿では,言語モデルセレクタとLLMジェネレータから構成される実例選択(RLS)のためのポリシーベース強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-23T12:32:12Z)
• SLMRec: Distilling Large Language Models into Small for Sequential Recommendation [38.51895517016953]
  シーケンシャルレコメンデーションタスクでは、過去のインタラクションを考慮して、ユーザが対話する可能性のある次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning [28.077228879886402]
  強化学習(Reinforcement Learning, RL)は、報酬領域におけるサンプルの非効率性に悩まされ、移行時にはさらにその問題が顕著になる。 サンプル効率を改善するために、報酬形成はRLエージェントが最適なポリシーに迅速に収束するのに役立つ本質的な報酬を導入するためのよく研究されたアプローチである。
  論文  参考訳（メタデータ） (2024-05-24T03:53:57Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
  本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。 提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。 モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
  論文  参考訳（メタデータ） (2023-07-31T13:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。