論文の概要: Learning to Search Effective Example Sequences for In-Context Learning

• arxiv url: http://arxiv.org/abs/2503.08030v1
• Date: Tue, 11 Mar 2025 04:24:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:44:29.001604
• Title: Learning to Search Effective Example Sequences for In-Context Learning
• Title（参考訳）: 文脈内学習における効果的な事例系列探索の学習
• Authors: Xiang Gao, Ankita Sinha, Kamalika Das,
• Abstract要約: 本稿では,ビームサーチに基づくサンプルシーケンスコンストラクタ(BESC)について紹介する。 BESCは、シークエンス選択に関わるすべての重要な要素を推論中に共同で考慮し、シークエンスをインクリメンタルに構築することで解決する。 さまざまなデータセットと言語モデルにわたる実験では、パフォーマンスが顕著に改善されている。
• 参考スコア（独自算出の注目度）: 6.532919612658209
• License:
• Abstract: Large language models (LLMs) demonstrate impressive few-shot learning capabilities, but their performance varies widely based on the sequence of in-context examples. Key factors influencing this include the sequence's length, composition, and arrangement, as well as its relation to the specific query. Existing methods often tackle these factors in isolation, overlooking their interdependencies. Moreover, the extensive search space for selecting optimal sequences complicates the development of a holistic approach. In this work, we introduce Beam Search-based Example Sequence Constructor (BESC), a novel method for learning to construct optimal example sequences. BESC addresses all key factors involved in sequence selection by considering them jointly during inference, while incrementally building the sequence. This design enables the use of beam search to significantly reduce the complexity of the search space. Experiments across various datasets and language models show notable improvements in performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、印象的な数ショットの学習能力を示すが、その性能は、文脈内サンプルのシーケンスに基づいて大きく異なる。 これに影響する主な要因は、シーケンスの長さ、構成、配列、および特定のクエリとの関係である。 既存の手法は、しばしばこれらの要因を分離して、相互依存を見渡す。 さらに、最適なシーケンスを選択するための広い探索空間は、全体論的アプローチの開発を複雑にしている。 本研究では,ビーム探索に基づくサンプルシーケンスコンストラクタ(BESC)を提案する。 BESCは、シークエンス選択に関わるすべての重要な要素を推論中に共同で考慮し、シークエンスをインクリメンタルに構築することで解決する。 この設計により、ビームサーチを用いることで、探索空間の複雑さを大幅に低減することができる。 さまざまなデータセットと言語モデルにわたる実験では、パフォーマンスが顕著に改善されている。

関連論文リスト

• EpiCoder: Encompassing Diversity and Complexity in Code Generation [49.170195362149386]
  抽象構文木(AST)にヒントを得た新しい特徴木ベース合成フレームワークを提案する。 コードの構文構造をキャプチャするASTとは異なり、私たちのフレームワークはコード要素間のセマンティックな関係をモデル化します。 広く使われているベースモデルを微調整してEpiCoderシリーズを作成し、関数レベルとファイルレベルの両方で最先端のパフォーマンスを実現しました。
  論文  参考訳（メタデータ） (2025-01-08T18:58:15Z)
• Retrieval with Learned Similarities [2.729516456192901]
  最先端の検索アルゴリズムは、学習された類似点に移行した。 そこで本研究では,Mixture-of-Logits (MoL) を実証的に実現し,多様な検索シナリオにおいて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-22T08:19:34Z)
• Relation-aware Ensemble Learning for Knowledge Graph Embedding [68.94900786314666]
  我々は,既存の手法を関係性に配慮した方法で活用し,アンサンブルを学習することを提案する。 関係認識アンサンブルを用いてこれらのセマンティクスを探索すると、一般的なアンサンブル法よりもはるかに大きな検索空間が得られる。 本稿では,リレーショナルなアンサンブル重みを独立に検索する分割探索合成アルゴリズムRelEns-DSCを提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:40:12Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Deep Learning on Attributed Sequences [0.38707695363745215]
  属性付きシーケンスにおける4つの新しい問題に対するディープラーニングモデルの解析と構築に重点を置いている。 実世界のデータセットを用いた実験により,提案手法が各タスクの性能を著しく向上することを示した。
  論文  参考訳（メタデータ） (2022-01-23T06:54:31Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• Near-Optimal Multi-Perturbation Experimental Design for Causal Structure Learning [0.0]
  因果構造は、興味あるシステムで実験を行うことで学習することができる。 我々は、複数の変数に同時に介入する実験を設計する、ほとんど探索されていない問題に対処する。
  論文  参考訳（メタデータ） (2021-05-28T18:00:00Z)
• Joint Contrastive Learning with Infinite Possibilities [114.45811348666898]
  本稿では,新しい確率論的モデリングによるコントラスト学習における最近の発展の有用性について考察する。 コントラスト学習(Joint Contrastive Learning, JCL)という,コントラスト学習の特定の形態を導出する。
  論文  参考訳（メタデータ） (2020-09-30T16:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。