論文の概要: Development of the user-friendly decision aid Rule-based Evaluation and Support Tool (REST) for optimizing the resources of an information extraction task

• arxiv url: http://arxiv.org/abs/2506.13177v1
• Date: Mon, 16 Jun 2025 07:38:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.693501
• Title: Development of the user-friendly decision aid Rule-based Evaluation and Support Tool (REST) for optimizing the resources of an information extraction task
• Title（参考訳）: 情報抽出作業のリソース最適化のためのルールベース評価支援ツール(REST)の開発
• Authors: Guillaume Bazin, Xavier Tannier, Fanny Adda, Ariel Cohen, Akram Redjdal, Emmanuelle Kempf,
• Abstract要約: ルールは、持続可能性、転送可能性、解釈可能性、開発負担の観点からMLやLLMと比較して、情報抽出(IE)のデフォルトオプションになり得る。 IE の手法としてルールと ML の持続的かつ複合的な利用を提案する。 私たちは、アノテータがデフォルトのオプションとしてルールを選択し、IEタスクの各エンティティに対してMLを選択するのを助けるために、REST決定ツールの有効性とパフォーマンスメトリクスを開発し、検証しました。
• 参考スコア（独自算出の注目度）: 0.9038158354432152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rules could be an information extraction (IE) default option, compared to ML and LLMs in terms of sustainability, transferability, interpretability, and development burden. We suggest a sustainable and combined use of rules and ML as an IE method. Our approach starts with an exhaustive expert manual highlighting in a single working session of a representative subset of the data corpus. We developed and validated the feasibility and the performance metrics of the REST decision tool to help the annotator choose between rules as a by default option and ML for each entity of an IE task. REST makes the annotator visualize the characteristics of each entity formalization in the free texts and the expected rule development feasibility and IE performance metrics. ML is considered as a backup IE option and manual annotation for training is therefore minimized. The external validity of REST on a 12-entity use case showed good reproducibility.
• Abstract（参考訳）: ルールは、持続可能性、転送可能性、解釈可能性、開発負担の観点からMLやLLMと比較して、情報抽出(IE)のデフォルトオプションになり得る。 IE の手法としてルールと ML の持続的かつ複合的な利用を提案する。 当社のアプローチは、データコーパスの代表的なサブセットの1つの作業セッションで、徹底した専門家の手によるハイライトから始まります。 私たちは、アノテータがデフォルトのオプションとしてルールを選択し、IEタスクの各エンティティに対してMLを選択するのを助けるために、REST決定ツールの有効性とパフォーマンスメトリクスを開発し、検証しました。 RESTにより、アノテータは、フリーテキストにおける各エンティティの形式化の特徴と期待されるルール開発機能とIEパフォーマンスメトリクスを視覚化する。 MLはIEのバックアップオプションと見なされており、トレーニング用の手動アノテーションは最小限に抑えられている。 12セントのユースケースにおけるRESTの外的妥当性は、良好な再現性を示した。

関連論文リスト

• MCP-RADAR: A Multi-Dimensional Benchmark for Evaluating Tool Use Capabilities in Large Language Models [11.809732662992982]
  本稿では,モデルコンテキストプロトコル (MCP) フレームワークにおける大規模言語モデル (LLM) の性能を評価するために設計された,最初の総合ベンチマークである MCP-RADAR を紹介する。 MCP-RADARは主観的な人的評価やバイナリ成功メトリクスに依存する従来のベンチマークとは異なり、複数のタスク領域にわたって客観的に定量化されている。
  論文  参考訳（メタデータ） (2025-05-22T14:02:37Z)
• BLADE: Benchmark suite for LLM-driven Automated Design and Evolution of iterative optimisation heuristics [2.2485774453793037]
  BLADEは、連続的なブラックボックス最適化コンテキストにおいてLLM駆動のAADメソッドをベンチマークするためのフレームワークである。 ベンチマーク問題とインスタンスジェネレータ、特殊化や情報エクスプロイトといった機能重視のテストを目的としたテキスト記述を統合する。 BLADEは、LCM駆動のAADアプローチを体系的に評価する、アウト・オブ・ザ・ボックスのソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-28T18:34:09Z)
• MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
  大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。 MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。 LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
  論文  参考訳（メタデータ） (2025-03-26T11:09:21Z)
• From Human Annotation to LLMs: SILICON Annotation Workflow for Management Research [13.818244562506138]
  LLM(Large Language Models)は、人間のアノテーションに対する費用対効果と効率的な代替手段を提供する。 本稿では、SILICON (Systematic Inference with LLMs for Information Classification and Notation) ワークフローを紹介する。 このワークフローは、人間のアノテーションの確立した原則と、体系的な迅速な最適化とモデル選択を統合している。
  論文  参考訳（メタデータ） (2024-12-19T02:21:41Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Let Me Do It For You: Towards LLM Empowered Recommendation via Tool Learning [57.523454568002144]
  大きな言語モデル(LLM)は、常識的な推論と外部ツールの活用の能力を示している。 ツール学習を通じてLLMを活用したレコメンデーションのためのフレームワークであるToolRecを紹介する。 属性の粒度を探索するプロセスとして推薦プロセスを定式化する。 属性指向ツールには,ランクツールと検索ツールの2種類がある。
  論文  参考訳（メタデータ） (2024-05-24T00:06:54Z)
• Enhancing Software-Related Information Extraction via Single-Choice Question Answering with Large Language Models [3.6637903428898055]
  本稿では,生成型大規模言語モデルによる学術テキスト間の関係抽出の改善に焦点をあてる。 この方法論は、ソフトウェア関連エンティティを抽出するために、GLMのコンテキスト内学習機能の使用を優先する。 SOMD共有タスクへの参加は、正確なソフトウェア引用プラクティスの重要性を強調します。
  論文  参考訳（メタデータ） (2024-04-08T15:00:36Z)
• Gradient Imitation Reinforcement Learning for General Low-Resource Information Extraction [80.64518530825801]
  本研究では,ラベル付きデータに対する勾配降下方向を模倣するために擬似ラベル付きデータを奨励するグラディエント強化学習法(GIRL)を開発した。 GIRLを利用して、低リソース設定ですべてのIEサブタスク(エンティティ認識、関係抽出、イベント抽出)を解決します。
  論文  参考訳（メタデータ） (2022-11-11T05:37:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。