我们面临的挑战是为部署在GKE上的一个多租户生成式AI推理服务设计并实现一套遥测系统。该系统不仅要能处理由模型推理产生的高基数(high-cardinality)时序数据,还必须保证严格的租户隔离和安全性。具体来说,每个API请求都携带了租
2023-10-27