mssql大数据分表 sql大数据分析

本文目录一览：

• 1、大数据量实时统计排序分页查询(并发数较小时)的几点建议
• 2、为何MYSQL很少用分区表,而用分库分表
• 3、数据标注集去哪选好?

大数据量实时统计排序分页查询(并发数较小时)的几点建议

1、)临时段的活动 当用户执行一个需要排序的查询时，Oracle设法对内存中排序区内的所有行进行排序，排序区的大小由数据库的init.ora文件的数确定。如果排序区域不够大，数据库就会在排序操作期间开辟临时段。

2、把星都换成需要的字段名试一下。索引顺序排列正确（这个你查一下，索引不是建 了就可以。查询时有顺序的，四年前的项目，改变顺序后，时间由35s 提升到6-8s，具体的记不清了，只记得有这么回事。

3、(例如：对外统计系统在7月16日出现的数据异常的情况，并发大数据量的的访问造成，数据库的响应时间不能跟上数据刷新的速度造成。具体情况是：在日期临界时(00：00：00)，判断数据库中是否有当前日期的记录，没有则插入一条当前日期的记录。

4、它主要包括并发性能测试、疲劳强度测试、大数据量测试和速度测试等，其中并发性能测试是重点。

5、大数据分析大分类 Hadoop平台对业务的针对性较强，为了让你明确它是否符合你的业务，现粗略地从几个角度将大数据分析的业务需求分类，针对不同的具体需求，应采用不同的数据分析架构。

6、它对compact做了优化，避免大数据量的compact在 服务时间内发生。新增了定制的filter来实现分页查询，rowkey上对应用进行了巧妙的设计以避免了冗余数据的传输以及90%以上的读转化成了顺序 读。

为何MYSQL很少用分区表,而用分库分表

如果数据太多，一次执行的时间太长，等待的时间就越长，这也是我们为什么要分表的原因。

都能提高mysql的性高，在高并发状态下都有一个良好的表现。

KEY分区：类似于按HASH分区，区别在于KEY分区只支持计算一列或多列，且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含整数值。

数据标注集去哪选好?

图片数据标注哪家好曼孚科技标注平台，支持SaaS模式以及私有化部署等多种方式，并支持对多类型数据进行标注。曼孚科技也挺不错的，我们在汽车自动驾驶领域有过合作。

曼孚科技也挺不错的，我们在汽车自动驾驶领域有过合作。

众包平台：如猪八戒网、码市等，这些平台通常提供各种类型的数据标注项目，包括文本、图像、语音等。数据标注团队可以在这些平台上注册账号，然后根据自己的能力和兴趣选择适合自己的项目。

数据标注众包挣钱平台：①京东微工 京东微工是京东集团推出的众包产品，是一个移动微工作平台。包括图像数据、语音数据、文本数据、视频数据等，支持多类型多场景的标注工具，用户入驻完成微工作，并获得相应的收入。

LabelImg 是国外的一款图像标注工具。使用前需要提前配置环境 python + lxml。Faster R-CNN，YOLO，SSD等对象检测所需要的数据集。