論文の概要: Do not be greedy, Think Twice: Sampling and Selection for Document-level Information Extraction

• arxiv url: http://arxiv.org/abs/2601.18395v1
• Date: Mon, 26 Jan 2026 11:53:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.806101
• Title: Do not be greedy, Think Twice: Sampling and Selection for Document-level Information Extraction
• Title（参考訳）: 欲張りするな, ツイースを考える: 文書レベルの情報抽出のためのサンプリングと選択
• Authors: Mikel Zubillaga, Oscar Sainz, Oier Lopez de Lacalle, Eneko Agirre,
• Abstract要約: 文書レベルの情報抽出(DocIE)は、所定の文書で発生する利害関係の実体と関係を持つ出力テンプレートを作成することを目的としている。 標準のプラクティスには、出力のばらつきを避けるためにgreedyデコードを使用してデコーダのみのLLMをプロンプトすることが含まれる。 サンプリングは,特に推論モデルを用いた場合,グリーディ復号法よりもはるかに優れた解が得られることを示す。
• 参考スコア（独自算出の注目度）: 19.989502176674183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document-level Information Extraction (DocIE) aims to produce an output template with the entities and relations of interest occurring in the given document. Standard practices include prompting decoder-only LLMs using greedy decoding to avoid output variability. Rather than treating this variability as a limitation, we show that sampling can produce substantially better solutions than greedy decoding, especially when using reasoning models. We thus propose ThinkTwice, a sampling and selection framework in which the LLM generates multiple candidate templates for a given document, and a selection module chooses the most suitable one. We introduce both an unsupervised method that exploits agreement across generated outputs, and a supervised selection method using reward models trained on labeled DocIE data. To address the scarcity of golden reasoning trajectories for DocIE, we propose a rejection-sampling-based method to generate silver training data that pairs output templates with reasoning traces. Our experiments show the validity of unsupervised and supervised ThinkTwice, consistently outperforming greedy baselines and the state-of-the-art.
• Abstract（参考訳）: 文書レベルの情報抽出(DocIE)は、所定の文書で発生する利害関係の実体と関係を持つ出力テンプレートを作成することを目的としている。 標準のプラクティスには、出力のばらつきを避けるためにgreedyデコードを使用してデコーダのみのLLMをプロンプトすることが含まれる。 この変数を制限として扱うのではなく、特に推論モデルを用いた場合、サンプリングの方がグリーディ復号よりもはるかに優れた解が得られることを示す。 そこで我々は,LLMが与えられた文書に対して複数の候補テンプレートを生成するサンプリングと選択のフレームワークであるThinkTwiceを提案し,選択モジュールが最も適したテンプレートを選択する。 本稿では,生成した出力間の合意を利用する教師なしの手法と,ラベル付きDocIEデータに基づいてトレーニングされた報酬モデルを用いた教師なしの選択手法を紹介する。 DocIEにおけるゴールデン・ライティング・トラジェクトリの不足に対処するために,レーティング・トレースと出力テンプレートを組み合わせた銀のトレーニングデータを生成するために,リジェクション・サンプリング・ベースの手法を提案する。 我々の実験は、教師なし、教師なしのThinkTwiceの有効性を示し、一貫して欲求ベースラインと最先端技術を上回っている。

関連論文リスト

• DiffuGR: Generative Document Retrieval with Diffusion Language Models [80.78126312115087]
  本稿ではDiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。 推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようと試みている。 従来の左から右への自動回帰デコーディングとは対照的に、DiffuGRはより信頼性の高いDocIDトークンを生成するための新しいメカニズムを提供する。
  論文  参考訳（メタデータ） (2025-11-11T12:00:09Z)
• SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification [28.63435151584449]
  本稿では,対象モデルの自己監督により検証者の判断を訓練するSelfJudgeを提案する。 本手法は,トークン置換応答が本来の応答の意味を保っているかどうかを評価することによって意味保存を測定する。
  論文  参考訳（メタデータ） (2025-09-26T02:21:12Z)
• Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
  ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。 これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
  Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。 我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
  論文  参考訳（メタデータ） (2024-11-05T07:12:36Z)
• Permissive Information-Flow Analysis for Large Language Models [21.563132267220073]
  大規模言語モデル(LLM)は、大規模ソフトウェアシステムのコモディティコンポーネントになりつつある。 これは自然なセキュリティとプライバシの問題を引き起こします。あるコンポーネントから取得した有毒なデータは、モデルの振る舞いを変更し、システム全体を侵害します。 LLMクエリを通じて情報フローラベルを伝搬する新しい,より寛容な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T00:25:43Z)
• Label-Efficient Model Selection for Text Generation [14.61636207880449]
  DiffUseは、好みアノテーションに基づいた候補テキスト生成モデル間の情報決定を行う手法である。 何百ものモデルペアに対する一連の実験において、DiffUseは必要なアノテーション数を劇的に削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-12T18:54:02Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。