論文の概要: Verb-ICL: Rethinking In-Context Learning for Structured Prediction
- arxiv url: http://arxiv.org/abs/2610.04725v1
- Date: Sat, 03 Oct 2026 19:30:17 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-06 21:03:18.605297
- Title: Verb-ICL: Rethinking In-Context Learning for Structured Prediction
- Title(参考訳): Verb-ICL:構造化予測のための文脈学習の再考
- Abstract要約: Verb-ICLは、ICLに基づく構造化予測のための選択的なアノテーションフレームワークである。
まずトークンレベルのカバレッジ戦略を使用して代表例を選択し、構造化予測に不可欠な局所的なセマンティックパターンをキャプチャする。
タスク固有のアノテーションガイドラインをコーディングし、ICLのデモにこのフィードバックを組み込む、実行可能なエラーフィードバックを生成する。
- 参考スコア(独自算出の注目度): 9.947066404843886
- License:
- Abstract: Structured prediction tasks pose unique challenges for in-context learning (ICL): their compositional outputs require modeling fine-grained, token-level patterns that sentence-level approaches fail to capture, and their task-specific annotation conventions are human-defined artifacts that cannot be acquired through pretraining alone. We propose Verb-ICL, a selective annotation framework for ICL-based structured prediction that addresses both challenges. Verb-ICL first selects representative examples using a token-level coverage strategy that captures local semantic patterns critical for structured prediction, then generates actionable error feedback that codifies task-specific annotation guidelines and incorporates this feedback into ICL demonstrations. We evaluate Verb-ICL on six structured prediction datasets spanning information extraction and semantic parsing. Experiments with recent LLMs show that Verb-ICL consistently outperforms strong selective annotation baselines under low-resource settings and continues to provide gains as the annotation budget increases. Extended analyses demonstrate that the generated feedback is predominantly useful across a four-category quality taxonomy, generalizes as task-level guidance beyond instance-specific corrections, and improves performance regardless of the underlying selection strategy.
- Abstract(参考訳): 構造化予測タスクは、インコンテキスト学習(ICL:In-context Learning)に固有の課題をもたらす: 構成出力は、文レベルのアプローチがキャプチャーに失敗する、きめ細かいトークンレベルのパターンをモデル化する必要がある。
ICLに基づく構造化予測のための選択的アノテーションフレームワークであるVerb-ICLを提案する。
Verb-ICLは、まずトークンレベルのカバレッジ戦略を用いて代表例を選択し、構造化予測に不可欠な局所的なセマンティックパターンをキャプチャし、タスク固有のガイドラインをコード化した実行可能なエラーフィードバックを生成し、ICLのデモにこのフィードバックを組み込む。
情報抽出と意味解析を対象とする6つの構造化予測データセット上でVerb-ICLを評価する。
最近のLCMによる実験では、Verb-ICLは低リソース環境下で強い選択的なアノテーションベースラインを一貫して上回り、アノテーション予算が増加するにつれて利益が得られ続けている。
拡張分析により、生成したフィードバックは、4つのカテゴリの質の分類において主に有用であることが示され、タスクレベルのガイダンスとしてインスタンス固有の修正を超えて一般化され、基礎となる選択戦略にかかわらずパフォーマンスが向上する。
関連論文リスト
- A Unified Framework for In-Context Learning with Causal and Masked Language Models [9.893068784551879]
In-context Learning (ICL) は、事前訓練された言語モデルの中枢機能として登場した。
マスク付き言語モデルは、双方向のコンテキストからマスク付きトークンを復元する。
ICLの振る舞いは因果言語モデルに特有ではない。
論文 参考訳(メタデータ) (2026-07-05T02:23:18Z) - Explicit Knowledge-Guided In-Context Learning for Early Detection of Alzheimer's Disease [7.882332873800141]
EK-ICLは構造化された明示的知識を統合し、文脈内学習における推論安定性とタスクアライメントを高める。
実験により、EK-ICLは最先端の微調整とICLベースラインを著しく上回っていることが示された。
論文 参考訳(メタデータ) (2025-11-09T04:01:45Z) - CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。
トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。
また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
論文 参考訳(メタデータ) (2025-10-03T08:50:21Z) - Mapping the Course for Prompt-based Structured Prediction [5.483149122038912]
本稿では,LLMの予測力と推論手法による構造的整合性を組み合わせることを提案する。
構造的予測目標を用いたキャリブレーションと微調整が,課題に対する性能向上につながることを示す。
論文 参考訳(メタデータ) (2025-08-20T22:00:28Z) - AURORA: Augmented Understanding via Structured Reasoning and Reinforcement Learning for Reference Audio-Visual Segmentation [113.75682363364004]
AURORAは、参照音声視覚セグメント化における真の推論と言語理解を強化するために設計されたフレームワークである。
AURORAはRef-AVSベンチマークの最先端性能を達成し、非参照セグメンテーションに効果的に一般化する。
論文 参考訳(メタデータ) (2025-08-04T07:47:38Z) - Surprise Calibration for Better In-Context Learning [6.566285172635043]
In-context Learning (ICL) は、大規模言語モデルにおけるタスク適応のための強力なパラダイムとして登場した。
既存のバイアス校正法は、すべての入力に対して固定クラス事前を適用し、動的ICL設定におけるそれらの有効性を制限している。
本稿では,クラス先行の時間的ダイナミクスをキャプチャする新しいメソッド・サプライズ(SC)を提案する。
論文 参考訳(メタデータ) (2025-06-15T10:04:42Z) - Tuning-Free Personalized Alignment via Trial-Error-Explain In-Context Learning [74.56097953187994]
本稿では,テキスト生成タスクのための言語モデルをパーソナライズするチューニング不要な手法であるTrial-Error-Explain In-Context Learning(TICL)を提案する。
TICLは、試行錯誤説明プロセスを通じて、文脈内学習プロンプトを反復的に拡張し、モデル生成陰性サンプルと説明を追加する。
TICLは従来の最先端技術に対して最大91.5%を達成し、パーソナライズされたアライメントタスクのための競争的なチューニング不要のベースラインを上回っている。
論文 参考訳(メタデータ) (2025-02-13T05:20:21Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。