論文の概要: Better Generalizing to Unseen Concepts: An Evaluation Framework and An LLM-Based Auto-Labeled Pipeline for Biomedical Concept Recognition

• arxiv url: http://arxiv.org/abs/2601.16711v1
• Date: Fri, 23 Jan 2026 12:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.68344
• Title: Better Generalizing to Unseen Concepts: An Evaluation Framework and An LLM-Based Auto-Labeled Pipeline for Biomedical Concept Recognition
• Title（参考訳）: 見えない概念へのより良い一般化: バイオメディカル概念認識のための評価フレームワークとLLMに基づくオートラベルパイプライン
• Authors: Shanshan Liu, Noriki Nishida, Fei Cheng, Narumi Tokunaga, Rumana Ferdous Munne, Yuki Yamagata, Kouji Kozaki, Takehito Utsuro, Yuji Matsumoto,
• Abstract要約: 目に見えない概念への一般化は、MA-BCRにおける人間のアノテーションの不足による中心的な課題である。 本稿では,階層的な概念指標と,一般化を測る新しい指標に基づく評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.305243291174957
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Generalization to unseen concepts is a central challenge due to the scarcity of human annotations in Mention-agnostic Biomedical Concept Recognition (MA-BCR). This work makes two key contributions to systematically address this issue. First, we propose an evaluation framework built on hierarchical concept indices and novel metrics to measure generalization. Second, we explore LLM-based Auto-Labeled Data (ALD) as a scalable resource, creating a task-specific pipeline for its generation. Our research unequivocally shows that while LLM-generated ALD cannot fully substitute for manual annotations, it is a valuable resource for improving generalization, successfully providing models with the broader coverage and structural knowledge needed to approach recognizing unseen concepts. Code and datasets are available at https://github.com/bio-ie-tool/hi-ald.
• Abstract（参考訳）: 医学的概念認識(MA-BCR)において、人間のアノテーションが不足しているため、目に見えない概念への一般化が中心的な課題である。 この研究は、この問題に体系的に対処するための2つの重要な貢献をしている。 まず,階層的な概念指標と,一般化を測る新しい指標に基づく評価フレームワークを提案する。 第2に,LSMをベースとしたALD(Auto-Labeled Data)をスケーラブルなリソースとして検討し,その生成のためのタスク固有のパイプラインを作成する。 LLM生成ALDは手動アノテーションを完全に置き換えることはできないが、一般化を改善する上では貴重な資源であり、未確認概念の認識にアプローチするために必要なより広範なカバレッジと構造的知識をモデルに提供することに成功している。 コードとデータセットはhttps://github.com/bio-ie-tool/hi-ald.comで公開されている。

関連論文リスト

• From Laboratory to Real-World Applications: Benchmarking Agentic Code Reasoning at the Repository Level [38.24989792739013]
  本稿では,帰納的アサーション検証を中心とした診断ベンチマークであるRepoReasonを紹介する。 本研究では, 環境を意味として利用し, 地盤構造を再現する実行駆動型突然変異フレームワークを実装した。 我々の発見は、次世代のエージェントソフトウェアエンジニアリングを最適化するための、詳細なホワイトボックスの洞察を提供する。
  論文  参考訳（メタデータ） (2026-01-07T09:22:28Z)
• MA-COIR: Leveraging Semantic Search Index and Generative Models for Ontology-Driven Biomedical Concept Recognition [8.635416307171035]
  我々は,概念認識を索引付け認識タスクとして再構成するフレームワークであるMA-COIRを紹介する。 セマンティック検索インデックス(ssID)を概念に割り当てることで、MA-COIRはオントロジーエントリの曖昧さを解消し、認識効率を高める。 本研究は,MA-COIRが言及レベルのアノテーションを必要とせず,明示的概念と暗黙的概念の両方を認識する上での有効性を強調した。
  論文  参考訳（メタデータ） (2025-05-19T11:00:43Z)
• SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
  textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。 SCANには4つの重要なコンポーネントが含まれている。 TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。 RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。 PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
  論文  参考訳（メタデータ） (2025-05-10T16:52:40Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
  本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。 我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-05-24T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。