本レポートの位置づけ
本レポートでは、スーパーコンピュータ「富岳」のサポートサイトにおける生成AIチャット「AskDona」の導入から運用、そして次世代RAGアーキテクチャの回答精度比較検証に至るまで、一連の取り組みとその成果を多角的に報告した。実務環境への生成AI導入、そこから得られた課題の分析、そしてその課題解決に向けた次世代技術の定量的評価という一貫したプロセスを詳細に公開する本レポートは、エンタープライズ領域における生成AI活用の実践的な事例として、国内外でも先進的な取り組みとして位置づけられる。
今後の展望
今後の展望として、当社はまず、本検証でその有効性を実証したAskDonaの次期バージョン（dona-rag-2.0）を富岳サポートサイトへ適用し、より高度な利用者サポートの実現を目指す。さらに、R-CCSとの協力関係を継続・発展させ、より挑戦的なテーマにも取り組んでいく予定である。本レポートで公開した知見が、同様の課題を抱える多くの企業や研究機関にとって有益な示唆となり、日本の科学技術とAI活用の発展、ひいては生成AI技術の社会実装全体の促進に貢献できることを期待している。
謝辞
本プロジェクトの遂行および本報告書の作成にあたり、理化学研究所 計算科学研究センターの皆様から格別のご支援とご助言を賜りました。ここに記し、深く感謝申し上げます。
- 理化学研究所計算科学研究センター センター長 松岡 聡 様
- 同 運用技術部門 部門長 庄司 文由 様
- 同 運用技術部門 上級テクニカルスタッフ 三上 和徳 様
- 同 運用技術部門 ソフトウェア開発技術ユニット 上級技師 中村 宜文 様
なお、本報告書に示す見解および結論はすべて当社のものであり、上記所属機関の公式見解を示すものではありません。
参考文献
- Es, S., et al. (2024). RAGAS: Automated Evaluation of Retrieval Augmented Generation. Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, 150–158. https://arxiv.org/abs/2309.15217
- Han, R., et al. (2024). RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval-Augmented Question Answering. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 4354–4374. https://arxiv.org/abs/2407.13998
Positioning of This Report
This report has presented, from multiple angles, the full arc of the work and its outcomes: the deployment and operation of the generative AI chat AskDona on the Fugaku Support Site, and the comparative validation of next-generation RAG architecture on answer accuracy. By publicly detailing a consistent end-to-end process — deploying generative AI into a real-world environment, analyzing the challenges that surfaced, and quantitatively evaluating the next-generation technology that addresses them — this report positions itself as a leading practical case study of generative-AI adoption in the enterprise domain, both in Japan and internationally.
Future Outlook
Looking ahead, we will first apply AskDona's next version (dona-rag-2.0) — whose effectiveness was demonstrated in this validation — to the Fugaku Support Site, aiming to deliver more advanced user support. We also intend to continue and grow our collaboration with R-CCS, taking on more challenging themes. We hope that the insights published in this report offer meaningful guidance to other companies and research institutions facing similar challenges, contributing to the advancement of Japanese science, technology, and AI utilization — and, more broadly, to the social implementation of generative-AI technology.
Acknowledgments
In carrying out this project and preparing this report, we received exceptional support and guidance from the team at the RIKEN Center for Computational Science. We record our deep gratitude here.
- Mr. Satoshi Matsuoka — Director, RIKEN Center for Computational Science
- Mr. Fumiyoshi Shoji — Director, Operations and Computer Technologies Division, R-CCS
- Mr. Kazunori Mikami — Senior Technical Staff, Operations and Computer Technologies Division, R-CCS
- Mr. Yoshifumi Nakamura — Senior Engineer, Software Development Technology Unit, Operations and Computer Technologies Division, R-CCS
All views and conclusions presented in this report are those of our company and do not represent the official positions of the above-mentioned institution.
References
- Es, S., et al. (2024). RAGAS: Automated Evaluation of Retrieval Augmented Generation. Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, 150–158. https://arxiv.org/abs/2309.15217
- Han, R., et al. (2024). RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval-Augmented Question Answering. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 4354–4374. https://arxiv.org/abs/2407.13998