論文の概要: Unifying Conformal Language Tasks with In-Context Ensembles

• arxiv url: http://arxiv.org/abs/2609.03005v1
• Date: Wed, 02 Sep 2026 18:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.818867
• Title: Unifying Conformal Language Tasks with In-Context Ensembles
• Title（参考訳）: コンフォーマル言語タスクをインコンテキストアンサンブルで統一する
• Abstract要約: 本稿では,テキスト内学習のサンプルキュレーションとアンサンブルを用いてスコア関数を生成するConformal Relevanceフレームワークを提案する。 このフレームワークの7つのNLPタスクへの適用を実証し、アンサンブルされたコンフォメーションスコアに対する多様性の影響を理論的に研究する。
• 参考スコア（独自算出の注目度）: 9.021619744856501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many NLP tasks, such as summarization and extractive question answering, reduce to retrieving relevant content from documents under two constraints: coverage, retaining enough pertinent information to achieve some goal, and conciseness, removing as much irrelevant information as possible. Conformal prediction methods have been used to guarantee coverage, and must be optimized for conciseness through design of a score function. State-of-the-art scoring functions use hand-engineered LLM prompts asking the model to rate the importance of content, but manual prompt engineering is labor-intensive and task-specific. We introduce the Conformal Relevance framework which uses in-context learning example curation and ensembling to create a score function which maintains coverage while improving conciseness with minimal manual input. We demonstrate this framework's application on seven NLP tasks, and also theoretically study the impact of diversity for ensembled conformal scores, giving a complementarity condition that characterizes when ensembling improves worst-case sentence scores, and a saturation bound on ensemble improvement.
• Abstract（参考訳）: 要約や抽出質問応答のような多くのNLPタスクは、カバレッジ、ある目標を達成するのに十分な関連する情報を保持すること、簡潔さ、できるだけ無関係な情報を除去すること、という2つの制約の下で文書から関連コンテンツを取得することを減らす。 コンフォーマル予測法はカバレッジを保証するために用いられており、スコア関数の設計を通じて簡潔さに最適化する必要がある。 最先端のスコアリング機能では、手作業によるLCMプロンプトを使用して、そのモデルにコンテンツの重要性を評価するが、手作業によるプロンプトエンジニアリングは労働集約的でタスク固有である。 テキスト内学習のサンプルキュレーションとアンサンブルを用いたコンフォーマル関連フレームワークを導入し、最小限の手入力で簡潔さを向上しつつ、カバレッジを維持しながらスコア関数を作成する。 このフレームワークの7つのNLPタスクへの適用を実証し、また、アンサンブルされたコンフォメーションスコアに対する多様性の影響を理論的に研究し、アンサンブルが最悪の文スコアを改善するときに特徴付ける相補性条件を与え、アンサンブル改善に束縛される飽和を与える。

関連論文リスト

• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
  CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。 トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。 また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
  論文  参考訳（メタデータ） (2025-10-03T08:50:21Z)
• Multi2: Multi-Agent Test-Time Scalable Framework for Multi-Document Processing [43.75154489681047]
  MDS(Multi-Document Summarization)のためのテスト時間スケーリングを利用した新しいフレームワークを提案する。 提案手法では,様々なプロンプトを用いて複数の候補サマリーを生成し,アグリゲータと組み合わせて洗練されたサマリーを生成する。 また,本手法を効果的に評価するために,LCM-ACU(Consistency-Aware Preference)スコアとLLM-Content-Unit(LLM-ACU)スコアという2つの新しいLCMベースの指標を導入する。
  論文  参考訳（メタデータ） (2025-02-27T23:34:47Z)
• ATEB: Evaluating and Improving Advanced NLP Tasks for Text Embedding Models [27.18321648849259]
  より高度なNLPタスクは、安全性や事実性などのテキストをより深く理解する必要がある。 既存の情報検索データから学習した埋め込みモデルの限界を評価・強調する新しいベンチマークを導入する。 本稿では,これらのタスクを検索タスクとして再構成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-24T01:08:15Z)
• Contextualizing Search Queries In-Context Learning for Conversational Rewriting with LLMs [0.0]
  本稿では,数発の対話型クエリ書き換えのための新しいアプローチであるPrompt-Guided In-Context Learningを紹介する。 提案手法では,タスク記述,入出力形式仕様,図示的な例を取り入れ,慎重に設計したプロンプトを用いている。 ベンチマークデータセットであるTRECとTaskmaster-1の実験は、我々のアプローチが強いベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2025-02-20T20:02:42Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward [23.176481887478634]
  単語を数えたり、比較したりした操作は、単語を埋め込んだり、埋め込みを比較したりすることができる。 BERT埋め込みの詳細な分析は、必要な依存関係をキャプチャするためにコンテキスト埋め込みを使用できることを実証的に示している。 我々は、無条件生成を強化学習問題とみなし、この挑戦的な環境では、報酬関数がn-gramの報酬よりも効果的な学習信号を提供することを示した。
  論文  参考訳（メタデータ） (2020-03-05T16:06:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。