Fugu-MT 論文翻訳(概要): DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models

論文の概要: DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models

arxiv url: http://arxiv.org/abs/2607.26891v1
Date: Wed, 29 Jul 2026 13:23:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-30 21:06:25.687908
Title: DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models
Title（参考訳）: DIRECT: 大規模言語モデルを用いた効率的な配列ラベリングのための直接デコード
Abstract要約: シーケンスラベリングはきめ細かい情報抽出タスクである。 DIRECTは、トレーニング時間最適化と推論時間修正を通じてこれらの問題に対処するフレームワークである。 DIRECTは、既存の方法と比較して、パフォーマンスと効率の両方で大幅に改善されている。
参考スコア（独自算出の注目度）: 15.41671030303189
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Sequence labeling is a fine-grained information extraction task, yet existing large language model-based approaches suffer from insufficient domain alignment and low inference efficiency. To address these issues, we propose DIRECT, a framework that addresses these issues through training-time optimization and inference-time rectification. Specifically, DIRECT performs Direct Preference Optimization (DPO) after supervised fine-tuning to strengthen task alignment with human preferences, and introduces a controlled decoding process that enforces fixed output formats and restricts predictions to candidate sets. To further improve efficiency, a template-filling mechanism requires the model to generate only label tokens while reusing prefixed content through the KV Cache, thus reducing redundant computation. Experimental results on eight datasets demonstrate that DIRECT achieves significant improvements in both performance and efficiency compared to existing methods.
Abstract（参考訳）: シーケンスラベリングは、きめ細かい情報抽出タスクであるが、既存の大規模言語モデルに基づくアプローチでは、ドメインアライメントの不足と推論効率の低下に悩まされている。これらの問題に対処するために、トレーニング時間最適化と推論時間修正を通じてこれらの問題に対処するフレームワークであるDIRECTを提案する。具体的には、人間の嗜好とタスクアライメントを強化するために微調整を監督した後、DIRECTが直接選好最適化(DPO)を行い、固定出力フォーマットを強制し、予測を候補セットに制限する制御復号プロセスを導入する。さらに効率を向上するため、テンプレート充填機構では、KVキャッシュを通じてプレフィックス付きコンテンツを再利用しながらラベルトークンのみを生成する必要があるため、冗長な計算が減少する。 8つのデータセットの実験結果から、DIRECTは既存の手法と比較して、パフォーマンスと効率の両方で大幅に改善されていることが示されている。

関連論文リスト

CROP: Token-Efficient Reasoning in Large Language Models via Regularized Prompt Optimization [0.0]
推論技術を利用した大規模言語モデルではタスクパフォーマンスが向上するが、冗長な生成による遅延やトークンコストが大幅に向上する。本稿では,応答長の正規化を導入するAPO手法であるPrompts (CROP) のコスト正規化最適化を提案する。我々は、複雑な推論データセット、特にGSM8K、LogiQA、BIG-Bench Hardに対するアプローチを評価した。
論文参考訳（メタデータ） (2026-04-08T19:31:25Z)
Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。言語モデル微調整のための特徴マッチング手法を提案する。この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
論文参考訳（メタデータ） (2026-03-12T17:57:50Z)
Semantic Prioritization in Visual Counterfactual Explanations with Weighted Segmentation and Auto-Adaptive Region Selection [50.68751788132789]
本研究は,自動適応候補編集ネットワーク(WSAE-Net)を用いた重み付きセマンティックマップ(Weighted Semantic Map)という,革新的な手法を提案する。重み付きセマンティックマップの生成は、計算される必要のある非意味的特徴単位の削減を最大化するように設計されている。自動適応型候補編集シーケンスは、処理すべき特徴ユニット間の最適な計算順序を決定するように設計されている。
論文参考訳（メタデータ） (2025-11-17T05:34:10Z)
PrefixAgent: An LLM-Powered Design Framework for Efficient Prefix Adder Optimization [11.652417515791633]
PrefixAgentは、大きな言語モデル(LLM)を使った、効率的なプレフィックス加算器最適化のためのフレームワークである。バックボーン合成や構造改善を含むサブタスクに問題を再構成し、探索空間を効果的に削減する。実験の結果,PrefixAgentはベースライン法に比べて一定の面積のプレフィックス加算器を合成することがわかった。
論文参考訳（メタデータ） (2025-07-08T16:14:17Z)
Evolutionary Guided Decoding: Iterative Value Refinement for LLMs [41.56764640311065]
イテレーティブ・バリュー・リファインメントはこのギャップを埋めるために設計された新しいフレームワークです。より包括的で堅牢なトレーニング信号を提供するために、Value Explorationを採用している。イテレーティブ・セルフリファインメントは、1回のイテレーションから改善された値関数を使用して、高品質なデータの生成をガイドします。
論文参考訳（メタデータ） (2025-03-04T07:49:10Z)
PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。 PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
論文参考訳（メタデータ） (2025-02-17T18:43:41Z)
DRPruning: Efficient Large Language Model Pruning through Distributionally Robust Optimization [59.96455188197593]
大きな言語モデル(LLM)は素晴らしい結果をもたらすが、モデルのサイズと計算コストの増加による課題に直面している。 DRPruningは、トレーニング中にデータ分散を動的に調整し、不均一なマルチタスクデータ間でのバランス性能を回復する手法である。単言語および多言語設定の実験では、DRPランニングはプルーニングと継続トレーニングの両方において同様の大きさのモデルを上回ることが示されている。
論文参考訳（メタデータ） (2024-11-21T12:02:39Z)
In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-04T03:39:28Z)
Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
論文参考訳（メタデータ） (2024-06-27T22:20:39Z)
PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文参考訳（メタデータ） (2023-10-18T02:59:57Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。