RESEARCH ARCHIVE · 1 ENTRIES

研究・調査 RESEARCH

AskDona / GFLOPSが公開する長尺レポート・ベンチマークです。 Long-form research and benchmarks published by AskDona / GFLOPS.

RIKEN R-CCS × ASKDONA · 全5章 RIKEN R-CCS × ASKDONA · 5 CHAPTERS

理化学研究所スーパーコンピュータ「富岳」のユーザーサポートにおける生成AIチャット「AskDona」の導入・運用実績レポート Report on the Introduction and Operational Results of the Generative AI Chat “AskDona” in User Support for RIKEN’s Supercomputer “Fugaku”.

ALL ENTRIES

リサーチ Research

RESEARCH

本番RAGにおけるStructural Blind Spots Structural Blind Spots in Production RAG

「精度N%」だけでは、本番RAGパイプラインの最も重要な評価軸——クエリクラスの構造的カバレッジ——を捉え損ねる。AskDonaの本番運用から得たStructural Blind Spotsの概略を示す。 Why accuracy alone cannot evaluate RAG pipelines — an outline of Structural Blind Spots, the class-level capability that 'N% accuracy' misses, drawn from AskDona production deployments at RIKEN R-CCS.

#RAG#Evaluation#Structural Blind Spots