論文の概要: LAF-Based Evaluation and UTTL-Based Learning Strategies with MIATTs
- arxiv url: http://arxiv.org/abs/2604.20944v1
- Date: Wed, 22 Apr 2026 15:47:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.110734
- Title: LAF-Based Evaluation and UTTL-Based Learning Strategies with MIATTs
- Title(参考訳): MIATTを用いたLAFに基づく評価とUTTLに基づく学習戦略
- Authors: Yongquan Yang,
- Abstract要約: 多くの実世界の機械学習(ML)アプリケーションでは、真のターゲットは曖昧さや主観的情報のために正確に定義できない。
実世界において、与えられたMLタスクの真のターゲットが客観的に存在しないという仮定の下で、EL-MIATTsフレームワークが提案されている。
LAFに基づく評価アルゴリズムとMIATTを用いたUTTLに基づく学習戦略の2つの補完メカニズムを開発した。
- 参考スコア(独自算出の注目度): 2.0885838435144963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many real-world machine learning (ML) applications, the true target cannot be precisely defined due to ambiguity or subjectivity information. To address this challenge, under the assumption that the true target for a given ML task is not assumed to exist objectively in the real world, the EL-MIATTs (Evaluation and Learning with Multiple Inaccurate True Targets) framework has been proposed. Bridging theory and practice in implementing EL-MIATTs, in this paper, we develop two complementary mechanisms: LAF (Logical Assessment Formula)-based evaluation algorithms and UTTL (Undefinable True Target Learning)-based learning strategies with MIATTs, which together enable logically coherent and practically feasible modeling under uncertain supervision. We first analyze task-specific MIATTs, examining how their coverage and diversity determine their structural property and influence downstream evaluation and learning. Based on this understanding, we formulate LAF-grounded evaluation algorithms that operate either on original MIATTs or on ternary targets synthesized from them, balancing interpretability, soundness, and completeness. For model training, we introduce UTTL-grounded learning strategies using Dice and cross-entropy loss functions, comparing per-target and aggregated optimization schemes. We also discuss how the integration of LAF and UTTL bridges the gap between logical semantics and statistical optimization. Together, these components provide a coherent pathway for implementing EL-MIATTs, offering a principled foundation for developing ML systems in scenarios where the notion of "ground truth" is inherently uncertain. An application of this work's results is presented as part of the study available at https://www.qeios.com/read/EZWLSN.
- Abstract(参考訳): 多くの実世界の機械学習(ML)アプリケーションでは、真のターゲットは曖昧さや主観的情報のために正確に定義できない。
この課題に対処するために、与えられたMLタスクの真のターゲットが現実の世界に客観的に存在しないという仮定の下で、EL-MIATT(Evaluation and Learning with Multiple Uncurate True Targets)フレームワークが提案されている。
本稿では, EL-MIATTの実装において, LAFに基づく評価アルゴリズムと, MIATTを用いたUTTL(Undefinable True Target Learning)に基づく学習戦略の2つの相補的なメカニズムを開発する。
まず、タスク固有のMIATTを分析し、そのカバレッジと多様性がどのように構造的特性を判断し、下流の評価と学習に影響を与えるかを検討する。
この理解に基づいて,従来のMIATTか,あるいはその合成した3つのターゲット上で動作し,解釈可能性,音質,完全性のバランスをとるLAF基底評価アルゴリズムを定式化する。
モデル学習では,Dice とクロスエントロピー損失関数を用いた UTTL-grounded learning strategy を導入し,ターゲット毎と集約最適化方式を比較した。
また、LAFとUTTLの統合が論理的意味論と統計的最適化のギャップを埋める方法について論じる。
これらのコンポーネントは、EL-MIATTを実装するための一貫性のある経路を提供し、"地下真実"の概念が本質的に不確実なシナリオにおいて、MLシステムを開発するための原則化された基盤を提供する。
この研究の結果はhttps://www.qeios.com/read/EZWLSN.comで公開されている。
関連論文リスト
- Foundation Models as World Models: A Foundational Study in Text-Based GridWorlds [2.9165586612027234]
ファンデーションモデル(FM)は、幅広い知識と推論能力を持つため、サンプル効率を改善するための自然な候補である。
我々は,FMの事前知識を活かした基礎世界モデル(FWM)を用いて,シミュレーションインタラクションによるエージェントの訓練と評価を行う。
第2に、意思決定にFMの推論能力を利用する基礎エージェント(FA)について検討する。
論文 参考訳(メタデータ) (2025-09-19T12:10:28Z) - OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics [82.0813150432867]
我々は,大規模言語モデル(LLM)のアンラーニング手法とメトリクスをベンチマークするための標準フレームワークであるOpenUnlearningを紹介する。
OpenUnlearningは、13のアンラーニングアルゴリズムと16のさまざまな評価を3つの主要なベンチマークで統合する。
また、多様なアンラーニング手法をベンチマークし、広範囲な評価スイートとの比較分析を行う。
論文 参考訳(メタデータ) (2025-06-14T20:16:37Z) - Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。
本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
論文 参考訳(メタデータ) (2025-02-17T16:56:23Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳(メタデータ) (2024-06-13T14:41:00Z) - MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。
このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。
GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
論文 参考訳(メタデータ) (2023-12-28T15:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。