論文の概要: STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment

• arxiv url: http://arxiv.org/abs/2508.20944v1
• Date: Thu, 28 Aug 2025 16:04:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.498596
• Title: STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment
• Title（参考訳）: STARE at the Structure: Steering ICL Exemplar Selection with Structure Alignment
• Authors: Jiaqian Li, Qisheng Hu, Jing Li, Wenya Wang,
• Abstract要約: 本稿では,効率,一般化性,性能のバランスを保った2段階の模範選択戦略を提案する。 まず、BERTベースのレトリバーを構造意識の監視を用いて微調整し、意味論的に関連性があり構造的に整合した模範を選定する。 次に,隠れ表現において構文的に意味のある情報を増幅するプラグインモジュールを用いて,検索機能を強化した。
• 参考スコア（独自算出の注目度）: 24.80531387685099
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In-Context Learning (ICL) has become a powerful paradigm that enables LLMs to perform a wide range of tasks without task-specific fine-tuning. However, the effectiveness of ICL heavily depends on the quality of exemplar selection. In particular, for structured prediction tasks such as semantic parsing, existing ICL selection strategies often overlook structural alignment, leading to suboptimal performance and poor generalization. To address this issue, we propose a novel two-stage exemplar selection strategy that achieves a strong balance between efficiency, generalizability, and performance. First, we fine-tune a BERT-based retriever using structure-aware supervision, guiding it to select exemplars that are both semantically relevant and structurally aligned. Then, we enhance the retriever with a plug-in module, which amplifies syntactically meaningful information in the hidden representations. This plug-in is model-agnostic, requires minimal overhead, and can be seamlessly integrated into existing pipelines. Experiments on four benchmarks spanning three semantic parsing tasks demonstrate that our method consistently outperforms existing baselines with multiple recent LLMs as inference-time models.
• Abstract（参考訳）: In-Context Learning (ICL) は、LLMがタスク固有の微調整なしで幅広いタスクを実行できる強力なパラダイムとなっている。 しかし、ICCの有効性は、模範選択の質に大きく依存する。 特に、意味解析のような構造化予測タスクでは、既存のICL選択戦略は、しばしば構造的アライメントを見落とし、最適以下の性能と一般化の低さをもたらす。 この問題に対処するため,効率,一般化性,性能のバランスを保ちつつ,新たな2段階選択戦略を提案する。 まず、BERTベースのレトリバーを構造意識の監視を用いて微調整し、意味論的に関連性があり構造的に整合した模範を選定する。 次に,隠れ表現において構文的に意味のある情報を増幅するプラグインモジュールを用いて,検索機能を強化した。 このプラグインはモデルに依存しず、オーバーヘッドを最小限にし、既存のパイプラインにシームレスに統合できる。 3つのセマンティック解析タスクにまたがる4つのベンチマーク実験により、我々の手法は既存のベースラインを常に上回り、最近の複数のLLMを推論時間モデルとして優れていることを示した。

関連論文リスト

• AdaptOrch: Task-Adaptive Multi-Agent Orchestration in the Era of LLM Performance Convergence [0.0]
  AdaptOrchはタスク適応型マルチエージェントオーケストレーションのための正式なフレームワークである。 トポロジ対応オーケストレーションは、静的シングルトポロジベースラインよりも12～23%改善されている。
  論文  参考訳（メタデータ） (2026-02-18T21:00:05Z)
• ECCO: Evidence-Driven Causal Reasoning for Compiler Optimization [9.85275171877854]
  検索で解釈可能な推論をブリッジするフレームワークであるECCOを紹介する。 本稿ではまず,Chain-of-Thoughtデータセットを構築するためのリバースエンジニアリング手法を提案する。 次に,大規模言語モデルがストラテジストとして機能する協調推論機構を設計する。
  論文  参考訳（メタデータ） (2026-01-23T01:23:20Z)
• LLM-MemCluster: Empowering Large Language Models with Dynamic Memory for Text Clustering [52.41664454251679]
  大規模言語モデル(LLM)は、テキストクラスタリングを行う前例のない能力を提供することで、教師なしの学習を再構築している。 既存のメソッドは、しばしば外部モジュールを持つ複雑なパイプラインに依存し、真にエンドツーエンドのアプローチを犠牲にする。 LLM-MemClusterは,クラスタリングをLLMネイティブタスクとして再認識する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-11-19T13:22:08Z)
• LLM-guided Hierarchical Retrieval [54.73080745446999]
  LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。 LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。 我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2025-10-15T07:05:17Z)
• ContextNav: Towards Agentic Multimodal In-Context Learning [85.05420047017513]
  ContextNavは、自動検索のスケーラビリティと人間のようなキュレーションの品質と適応性を統合するエージェントフレームワークである。 リソースを意識したマルチモーダル埋め込みパイプラインを構築し、検索可能なベクトルデータベースを維持し、エージェント検索と構造アライメントを適用して、ノイズ耐性のあるコンテキストを構築する。 実験の結果、ContextNavはさまざまなデータセットで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-06T07:49:52Z)
• CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
  CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。 トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。 また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
  論文  参考訳（メタデータ） (2025-10-03T08:50:21Z)
• Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
  大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
  論文  参考訳（メタデータ） (2025-06-06T12:29:03Z)
• Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines [71.14354526117958]
  In-context Learning (ICL) は、事前訓練された大規模言語モデル(LLM)の重要かつ完全には理解されていない能力である。 タスク言語とフォーマット特性をキャプチャする2つのガイドラインの並列ストリームを効率よく生成するLongGuideを提案する。 LongGuideはガイドラインの最良の組み合わせを自動的に選択し、ゼロショット設定と少数ショット設定の両方で、強力なオープンソースLLMとクローズドソースLLMの両方を5%以上改善する。
  論文  参考訳（メタデータ） (2025-06-02T02:35:24Z)
• Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
  大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-15T17:35:56Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
  本稿では,マルチショットICLによる長文言語モデルの評価について検討する。 ICLタスクを共通サンプル学習(SSL)と全サンプル学習(ASL)の2つのグループに分類するメトリクスを開発する。 最先端のモデルではSSLタスクで64kトークンまでパフォーマンスが向上するが、ASLタスクで16kトークンしかなかったため、多くのモデルは大幅なパフォーマンス低下を経験している。
  論文  参考訳（メタデータ） (2024-11-11T17:00:59Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。