論文の概要: DAWN-ICL: Strategic Planning of Problem-solving Trajectories for Zero-Shot In-Context Learning

• arxiv url: http://arxiv.org/abs/2410.20215v1
• Date: Sat, 26 Oct 2024 16:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:38.384665
• Title: DAWN-ICL: Strategic Planning of Problem-solving Trajectories for Zero-Shot In-Context Learning
• Title（参考訳）: DAWN-ICL:ゼロショットインコンテキスト学習のための問題解決軌道の戦略的計画
• Authors: Xinyu Tang, Xiaolei Wang, Wayne Xin Zhao, Ji-Rong Wen,
• Abstract要約: In-context Learning (ICL) を実現するために,実証対応モンテカルロ木探索法 (DAWN-ICL) を提案する。 現実のシナリオでは、問題は通常多様なタスクから発生し、同じタスクに属するものはほとんどない。ランダムな順序は信頼できない擬似デモを生成し、エラーの蓄積につながる。
• 参考スコア（独自算出の注目度）: 99.05401042153214
• License:
• Abstract: Zero-shot in-context learning (ZS-ICL) aims to conduct in-context learning (ICL) without using human-annotated demonstrations. Most ZS-ICL methods use large language models (LLMs) to generate (input, label) pairs as pseudo-demonstrations and leverage historical pseudo-demonstrations to help solve the current problem. They assume that problems are from the same task and traverse them in a random order. However, in real-world scenarios, problems usually come from diverse tasks, and only a few belong to the same task. The random traversing order may generate unreliable pseudo-demonstrations and lead to error accumulation. To address this problem, we reformulate ZS-ICL as a planning problem and propose a Demonstration-aware Monte Carlo Tree Search (MCTS) approach (DAWN-ICL), which leverages MCTS to strategically plan the problem-solving trajectories for ZS-ICL. In addition, to achieve effective and efficient Q value estimation, we propose a novel demonstration-aware Q-value function and use it to enhance the selection phase and accelerate the expansion and simulation phases in MCTS. Extensive experiments demonstrate the effectiveness and efficiency of DAWN-ICL on in-domain and cross-domain scenarios, and it even outperforms ICL using human-annotated labels. The code is available at https://github.com/RUCAIBox/MCTS4ZSICL.
• Abstract（参考訳）: Zero-shot in-context Learning (ZS-ICL) は、人間に注釈を付けた実演を使わずに、in-context learning (ICL) を実行することを目的としている。 ほとんどのZS-ICLメソッドは、大きな言語モデル(LLM)を使用して、擬似デモとして(インプット、ラベル)ペアを生成し、過去の擬似デモを利用して現在の問題を解決する。 彼らは、問題は同じタスクから成り、ランダムな順序でそれらを横切ると仮定する。 しかし、現実のシナリオでは、問題は通常さまざまなタスクから発生し、同じタスクに属するものはほとんどない。 ランダムなトラバース順序は信頼できない擬似デモを生成し、エラーの蓄積につながる可能性がある。 この問題に対処するため,ZS-ICL を計画問題として再構成し,MCTS を利用してZS-ICL の問題解決軌道を戦略的に計画するモンテカルロ木探索 (DAWN-ICL) 手法を提案する。 さらに,効率的かつ効率的なQ値推定を実現するために,新しい実演対応Q値関数を提案し,それを選択フェーズの強化とMCTSの拡張とシミュレーションフェーズの高速化に利用する。 DAWN-ICLのドメイン内およびドメイン間シナリオにおける有効性と効率を実証し、人間のアノテーション付きラベルを用いたICLよりも優れています。 コードはhttps://github.com/RUCAIBox/MCTS4ZSICLで入手できる。

関連論文リスト

• LIVE: Learnable In-Context Vector for Visual Question Answering [37.89141789981324]
  In-Context Learning (ICL) 機能を備えたLMM(Large Multimodal Models) を開発した。 ICLの適用は通常、2つの大きな課題に直面している。1) より多くのICDを使用すると、推論時間が大きく増加し、2) 性能はICDの選択に敏感になる。 実演からタスク情報を抽出するLearning In-Context VEctor (LIVE)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T03:33:45Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Online Cascade Learning for Efficient Inference over Streams [9.516197133796437]
  大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。 この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。 我々は,オンラインでカスケードを学習するタスクを模倣学習問題として定式化する。
  論文  参考訳（メタデータ） (2024-02-07T01:46:50Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Misconfidence-based Demonstration Selection for LLM In-Context Learning [0.0]
  大規模言語モデル(LLM)を用いたインコンテキスト学習は、様々なタスクに迅速に適応する上で優れている。 この問題に対する現在のアプローチは、難易度の高い外部監視に依存するか、LLMとの頻繁な相互作用を必要とするかのいずれかである。 In-Context Reflection (ICR) と呼ばれる新しい手法を提案し、これらの課題を克服する。
  論文  参考訳（メタデータ） (2024-01-12T00:11:24Z)
• Scaling In-Context Demonstrations with Structured Attention [75.41845145597875]
  我々は、文脈内学習のためのより優れたアーキテクチャ設計を提案する。 In-Context Learningのための構造化アテンションは、構造化アテンションメカニズムによって完全なアテンションを置き換える。 SAICLは、最大3.4倍の推論速度で、フルアテンションよりも同等または優れた性能を実現していることを示す。
  論文  参考訳（メタデータ） (2023-07-05T23:26:01Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• Active Prompting with Chain-of-Thought for Large Language Models [26.5029080638055]
  本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。 不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。 実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
  論文  参考訳（メタデータ） (2023-02-23T18:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。