論文の概要: STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment

• arxiv url: http://arxiv.org/abs/2508.20944v1
• Date: Thu, 28 Aug 2025 16:04:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.498596
• Title: STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment
• Title（参考訳）: STARE at the Structure: Steering ICL Exemplar Selection with Structure Alignment
• Authors: Jiaqian Li, Qisheng Hu, Jing Li, Wenya Wang,
• Abstract要約: 本稿では,効率,一般化性,性能のバランスを保った2段階の模範選択戦略を提案する。 まず、BERTベースのレトリバーを構造意識の監視を用いて微調整し、意味論的に関連性があり構造的に整合した模範を選定する。 次に,隠れ表現において構文的に意味のある情報を増幅するプラグインモジュールを用いて,検索機能を強化した。
• 参考スコア（独自算出の注目度）: 24.80531387685099
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In-Context Learning (ICL) has become a powerful paradigm that enables LLMs to perform a wide range of tasks without task-specific fine-tuning. However, the effectiveness of ICL heavily depends on the quality of exemplar selection. In particular, for structured prediction tasks such as semantic parsing, existing ICL selection strategies often overlook structural alignment, leading to suboptimal performance and poor generalization. To address this issue, we propose a novel two-stage exemplar selection strategy that achieves a strong balance between efficiency, generalizability, and performance. First, we fine-tune a BERT-based retriever using structure-aware supervision, guiding it to select exemplars that are both semantically relevant and structurally aligned. Then, we enhance the retriever with a plug-in module, which amplifies syntactically meaningful information in the hidden representations. This plug-in is model-agnostic, requires minimal overhead, and can be seamlessly integrated into existing pipelines. Experiments on four benchmarks spanning three semantic parsing tasks demonstrate that our method consistently outperforms existing baselines with multiple recent LLMs as inference-time models.
• Abstract（参考訳）: In-Context Learning (ICL) は、LLMがタスク固有の微調整なしで幅広いタスクを実行できる強力なパラダイムとなっている。 しかし、ICCの有効性は、模範選択の質に大きく依存する。 特に、意味解析のような構造化予測タスクでは、既存のICL選択戦略は、しばしば構造的アライメントを見落とし、最適以下の性能と一般化の低さをもたらす。 この問題に対処するため,効率,一般化性,性能のバランスを保ちつつ,新たな2段階選択戦略を提案する。 まず、BERTベースのレトリバーを構造意識の監視を用いて微調整し、意味論的に関連性があり構造的に整合した模範を選定する。 次に,隠れ表現において構文的に意味のある情報を増幅するプラグインモジュールを用いて,検索機能を強化した。 このプラグインはモデルに依存しず、オーバーヘッドを最小限にし、既存のパイプラインにシームレスに統合できる。 3つのセマンティック解析タスクにまたがる4つのベンチマーク実験により、我々の手法は既存のベースラインを常に上回り、最近の複数のLLMを推論時間モデルとして優れていることを示した。

関連論文リスト

• Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
  大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
  論文  参考訳（メタデータ） (2025-06-06T12:29:03Z)
• Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines [71.14354526117958]
  In-context Learning (ICL) は、事前訓練された大規模言語モデル(LLM)の重要かつ完全には理解されていない能力である。 タスク言語とフォーマット特性をキャプチャする2つのガイドラインの並列ストリームを効率よく生成するLongGuideを提案する。 LongGuideはガイドラインの最良の組み合わせを自動的に選択し、ゼロショット設定と少数ショット設定の両方で、強力なオープンソースLLMとクローズドソースLLMの両方を5%以上改善する。
  論文  参考訳（メタデータ） (2025-06-02T02:35:24Z)
• Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
  大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-15T17:35:56Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
  本稿では,マルチショットICLによる長文言語モデルの評価について検討する。 ICLタスクを共通サンプル学習(SSL)と全サンプル学習(ASL)の2つのグループに分類するメトリクスを開発する。 最先端のモデルではSSLタスクで64kトークンまでパフォーマンスが向上するが、ASLタスクで16kトークンしかなかったため、多くのモデルは大幅なパフォーマンス低下を経験している。
  論文  参考訳（メタデータ） (2024-11-11T17:00:59Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。