論文の概要: Development of the user-friendly decision aid Rule-based Evaluation and Support Tool (REST) for optimizing the resources of an information extraction task

• arxiv url: http://arxiv.org/abs/2506.13177v1
• Date: Mon, 16 Jun 2025 07:38:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.693501
• Title: Development of the user-friendly decision aid Rule-based Evaluation and Support Tool (REST) for optimizing the resources of an information extraction task
• Title（参考訳）: 情報抽出作業のリソース最適化のためのルールベース評価支援ツール(REST)の開発
• Authors: Guillaume Bazin, Xavier Tannier, Fanny Adda, Ariel Cohen, Akram Redjdal, Emmanuelle Kempf,
• Abstract要約: ルールは、持続可能性、転送可能性、解釈可能性、開発負担の観点からMLやLLMと比較して、情報抽出(IE)のデフォルトオプションになり得る。 IE の手法としてルールと ML の持続的かつ複合的な利用を提案する。 私たちは、アノテータがデフォルトのオプションとしてルールを選択し、IEタスクの各エンティティに対してMLを選択するのを助けるために、REST決定ツールの有効性とパフォーマンスメトリクスを開発し、検証しました。
• 参考スコア（独自算出の注目度）: 0.9038158354432152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rules could be an information extraction (IE) default option, compared to ML and LLMs in terms of sustainability, transferability, interpretability, and development burden. We suggest a sustainable and combined use of rules and ML as an IE method. Our approach starts with an exhaustive expert manual highlighting in a single working session of a representative subset of the data corpus. We developed and validated the feasibility and the performance metrics of the REST decision tool to help the annotator choose between rules as a by default option and ML for each entity of an IE task. REST makes the annotator visualize the characteristics of each entity formalization in the free texts and the expected rule development feasibility and IE performance metrics. ML is considered as a backup IE option and manual annotation for training is therefore minimized. The external validity of REST on a 12-entity use case showed good reproducibility.
• Abstract（参考訳）: ルールは、持続可能性、転送可能性、解釈可能性、開発負担の観点からMLやLLMと比較して、情報抽出(IE)のデフォルトオプションになり得る。 IE の手法としてルールと ML の持続的かつ複合的な利用を提案する。 当社のアプローチは、データコーパスの代表的なサブセットの1つの作業セッションで、徹底した専門家の手によるハイライトから始まります。 私たちは、アノテータがデフォルトのオプションとしてルールを選択し、IEタスクの各エンティティに対してMLを選択するのを助けるために、REST決定ツールの有効性とパフォーマンスメトリクスを開発し、検証しました。 RESTにより、アノテータは、フリーテキストにおける各エンティティの形式化の特徴と期待されるルール開発機能とIEパフォーマンスメトリクスを視覚化する。 MLはIEのバックアップオプションと見なされており、トレーニング用の手動アノテーションは最小限に抑えられている。 12セントのユースケースにおけるRESTの外的妥当性は、良好な再現性を示した。

関連論文リスト

• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• MCP-RADAR: A Multi-Dimensional Benchmark for Evaluating Tool Use Capabilities in Large Language Models [11.809732662992982]
  本稿では,モデルコンテキストプロトコル (MCP) フレームワークにおける大規模言語モデル (LLM) の性能を評価するために設計された,最初の総合ベンチマークである MCP-RADAR を紹介する。 MCP-RADARは主観的な人的評価やバイナリ成功メトリクスに依存する従来のベンチマークとは異なり、複数のタスク領域にわたって客観的に定量化されている。
  論文  参考訳（メタデータ） (2025-05-22T14:02:37Z)
• BLADE: Benchmark suite for LLM-driven Automated Design and Evolution of iterative optimisation heuristics [2.2485774453793037]
  BLADEは、連続的なブラックボックス最適化コンテキストにおいてLLM駆動のAADメソッドをベンチマークするためのフレームワークである。 ベンチマーク問題とインスタンスジェネレータ、特殊化や情報エクスプロイトといった機能重視のテストを目的としたテキスト記述を統合する。 BLADEは、LCM駆動のAADアプローチを体系的に評価する、アウト・オブ・ザ・ボックスのソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-28T18:34:09Z)
• MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
  大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。 MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。 LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
  論文  参考訳（メタデータ） (2025-03-26T11:09:21Z)
• From Human Annotation to LLMs: SILICON Annotation Workflow for Management Research [13.818244562506138]
  LLM(Large Language Models)は、人間のアノテーションに対する費用対効果と効率的な代替手段を提供する。 本稿では、SILICON (Systematic Inference with LLMs for Information Classification and Notation) ワークフローを紹介する。 このワークフローは、人間のアノテーションの確立した原則と、体系的な迅速な最適化とモデル選択を統合している。
  論文  参考訳（メタデータ） (2024-12-19T02:21:41Z)
• Data-Efficient Massive Tool Retrieval: A Reinforcement Learning Approach for Query-Tool Alignment with Language Models [28.67532617021655]
  外部ツールやAPIと統合された大規模言語モデル(LLM)は、コンテキスト内学習や微調整によって複雑なタスクにうまく対応している。 この進歩にもかかわらず、厳密な入力長制約のため、ツール検索の大規模化は依然として困難である。 本稿では,大規模なツール検索(MTR)タスクとして,大規模リポジトリからの事前検索戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-04T07:58:05Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Let Me Do It For You: Towards LLM Empowered Recommendation via Tool Learning [57.523454568002144]
  大きな言語モデル(LLM)は、常識的な推論と外部ツールの活用の能力を示している。 ツール学習を通じてLLMを活用したレコメンデーションのためのフレームワークであるToolRecを紹介する。 属性の粒度を探索するプロセスとして推薦プロセスを定式化する。 属性指向ツールには,ランクツールと検索ツールの2種類がある。
  論文  参考訳（メタデータ） (2024-05-24T00:06:54Z)
• Enhancing Software-Related Information Extraction via Single-Choice Question Answering with Large Language Models [3.6637903428898055]
  本稿では,生成型大規模言語モデルによる学術テキスト間の関係抽出の改善に焦点をあてる。 この方法論は、ソフトウェア関連エンティティを抽出するために、GLMのコンテキスト内学習機能の使用を優先する。 SOMD共有タスクへの参加は、正確なソフトウェア引用プラクティスの重要性を強調します。
  論文  参考訳（メタデータ） (2024-04-08T15:00:36Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Gradient Imitation Reinforcement Learning for General Low-Resource Information Extraction [80.64518530825801]
  本研究では,ラベル付きデータに対する勾配降下方向を模倣するために擬似ラベル付きデータを奨励するグラディエント強化学習法(GIRL)を開発した。 GIRLを利用して、低リソース設定ですべてのIEサブタスク(エンティティ認識、関係抽出、イベント抽出)を解決します。
  論文  参考訳（メタデータ） (2022-11-11T05:37:19Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。