論文の概要: Analogical Structure, Minimal Contextual Cues and Contrastive Distractors: Input Design for Sample-Efficient Linguistic Rule Induction

• arxiv url: http://arxiv.org/abs/2511.10441v1
• Date: Fri, 14 Nov 2025 01:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.873019
• Title: Analogical Structure, Minimal Contextual Cues and Contrastive Distractors: Input Design for Sample-Efficient Linguistic Rule Induction
• Title（参考訳）: 分析構造, 最小文脈キュー, コントラストディトラクタ: サンプル効率のよい言語規則誘導のための入力設計
• Authors: Chunyang Jiang, Paola Merlo,
• Abstract要約: 我々は、類似構造、コントラスト学習、最小限の文脈的手がかりという3つの認知に着想を得た原理を実装した計算手法を開発する。 提案手法は,モデルが類似パターンから正しい文補完を識別する構造的補完タスクを用いて検証する。 この結果から,類似パラダイムの組織は,従来の手法よりも桁違いに少ないデータで,競争力のある言語規則学習を可能にすることが示された。
• 参考スコア（独自算出の注目度）: 2.3857044225736224
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models achieve strong performance through training on vast datasets. Can analogical paradigm organization enable lightweight models to match this performance with minimal data? We develop a computational approach implementing three cognitive-inspired principles: analogical structure, contrastive learning, and minimal contextual cues. We test this approach with structured completion tasks where models identify correct sentence completions from analogical patterns with contrastive alternatives. Training lightweight models (BERT+CNN, $0.5M$ parameters) on only one hundred structured examples of English causative/inchoative alternations achieves $F1=0.95$, outperforming zero-shot \texttt{GPT-o3} ($F1=0.87$). Ablation studies confirm that analogical organization and contrastive structure improve performance, consistently surpassing randomly shuffled baselines across architectures. Cross-phenomenon validation using unspecified object alternations replicates these efficiency gains, confirming approach robustness. Our results show that analogical paradigm organization enables competitive linguistic rule learning with orders of magnitude less data than conventional approaches require.
• Abstract（参考訳）: 大規模な言語モデルは、膨大なデータセットのトレーニングを通じて、強力なパフォーマンスを達成する。 アナログパラダイムの組織は、このパフォーマンスを最小限のデータで一致させることができるだろうか? 我々は、類似構造、コントラスト学習、最小限の文脈的手がかりという3つの認知に着想を得た原理を実装した計算手法を開発する。 提案手法は,モデルが類似パターンから正しい文補完を識別する構造的補完タスクを用いて検証する。 軽量モデルのトレーニング (BERT+CNN, $0.5M$パラメータ) は、英語の因果的/因果的交替の100の構造化例でのみ、$F1=0.95$を達成し、ゼロショットの \texttt{GPT-o3} (F1=0.87$) を上回っている。 アブレーション研究は、類似の組織と対照的な構造が性能を向上し、アーキテクチャ全体にわたってランダムにシャッフルされたベースラインを一貫して超越していることを確認した。 特定されていない物体の交互化を用いた交叉フェノメノンの検証は、これらの効率向上を再現し、アプローチの堅牢性を確認する。 この結果から,類似パラダイムの組織は,従来の手法よりも桁違いに少ないデータで,競争力のある言語規則学習を可能にすることが示された。

関連論文リスト

• Negative Matters: Multi-Granularity Hard-Negative Synthesis and Anchor-Token-Aware Pooling for Enhanced Text Embeddings [25.565372681837697]
  クエリに類似するレベルが異なる多様な負のサンプルを生成するために,マルチグラニュラリティ・ハード負(MGH)合成フレームワークを導入する。 また,Anchor Token Aware(ATA)プーリング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-31T13:24:48Z)
• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Syntactic Control of Language Models by Posterior Inference [53.823006836309695]
  言語モデルによって生成されたテキストの構文構造を制御することは、明快さ、スタイリスティックな一貫性、解釈可能性を必要とするアプリケーションにとって重要である。 後部推論に基づくサンプリングアルゴリズムは、生成中に対象の選挙区構造を効果的に強制することができると論じる。 提案手法では,提案分布からのサンプリングにより後続分布を推定するモンテカルロ法と,各生成したトークンが所望の構文構造に整合することを保証する統語タグを併用する。
  論文  参考訳（メタデータ） (2025-06-08T14:01:34Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• Fine-tune Language Models to Approximate Unbiased In-context Learning [8.609157988755896]
  RICL(Reweighted In-context Learning)と呼ばれる再重み付きアルゴリズムを導入する。 このアルゴリズムは、各入力出力サンプルの最適な重みを決定するために、バイアスのない検証セットを使用して言語モデルを微調整する。 また、LARICLと呼ばれる線形最適重み近似アルゴリズムである、低コスト再重み付きアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2023-10-05T06:16:01Z)
• Prompting or Fine-tuning? A Comparative Study of Large Language Models for Taxonomy Construction [0.8670827427401335]
  構造的制約を考慮した分類学構築のための一般的な枠組みを提案する。 我々は,超音速分類法と新しいコンピュータサイエンス分類法データセットで実施される即興的および微調整的アプローチを比較した。
  論文  参考訳（メタデータ） (2023-09-04T16:53:17Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
  TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。 事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。 5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
  論文  参考訳（メタデータ） (2022-05-25T08:57:46Z)
• Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
  本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。 モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
  論文  参考訳（メタデータ） (2022-04-06T06:29:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。