博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Mysql 千万数据快速导入
阅读量:5087 次
发布时间:2019-06-13

本文共 592 字,大约阅读时间需要 1 分钟。

最近碰到个项目,需要 千万条数据入库的问题,有原本的 类 csv 文件导入,

统计了下  数据行大概有 1400W 行之多

 

二话不说, 建表,直接 load

 

LOAD DATA LOCAL INFILE '/data/data.csv' INTO TABLE pk_book_price CHARACTER SET utf8  FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (`no`,`name`,`price`,`ranking`);

照理说 这种方式 应该是非常快的, 可导入完成还是活生生地耗费了接近3个多小时。

后来经过搜集各方资料查证,终于找到还算靠谱的解决方案:

1、建表,但除去所有索引。

2、 依然 load data local infile 方式导入。

3、 数据导入完成后 再进行索引。

 

依照此过程下来,数据导入 花费差不多 5分钟左右,  索引重建在半小时左右,整个40分钟内完成。还算能接受了。

因此表只需满足 按照no查询即可,没有涉及 其他复杂sql,也无数据增量,只有简单key-value查询。所以没有作水平,垂直,分库 等操作,只建索引已经达到性能要求。

其他,不再多述。

有更好方法,请分享之。

 

转载于:https://www.cnblogs.com/taozi32/p/5705807.html

你可能感兴趣的文章
linux下升级npm以及node
查看>>
正确停止kafka的方法
查看>>
用Linux完成Oracle自动物理备份
查看>>
net-snmp启用python模块
查看>>
大数据分析
查看>>
框架、颜色、颜色名、脚本、字符实体、URL、速查列表
查看>>
Redis入门
查看>>
Some tips in using Xcode
查看>>
理解并发进程
查看>>
OpenCv 2.4.9 (二) 核心函数
查看>>
RabbitMQ系列(三)--Java API
查看>>
iOS开发之指定UIView的某几个角为圆角
查看>>
HDU4405--Aeroplane chess(概率dp)
查看>>
【BJOI2018】【BZOJ2591】—链上二次求和(线段树维护二次函数)
查看>>
[ACM]HDU Problem 1000 + Java
查看>>
有道云笔记去除广告方法
查看>>
x的平方根
查看>>
Java——JDBC小结(4)
查看>>
bzoj4551 [HEOI2016]树
查看>>
华为牛人十年感悟 摘
查看>>