python处理大文件的内存问题 置顶
同学们时常会遇到要处理大文件的情况,现在是大数据时代,有些文件动辄几十个G,我们在处理这样文件的时候一不小心就把内存撑爆了,或者程序被强制kill掉了。 原因是你一次性把文件的所有内容都读取到内存里面了。python里面有方法可以一段一段的读文件。
原创阅读 5598评论 0收藏 1
aaabbbbttt发布于:2019-01-220
将博客搬至CSDN
将博客搬至CSDN
原创阅读 430评论 0收藏 0
aaabbbbttt发布于:2017-03-280
shell登录时的文件执行顺序
想必大家都在linux系统中设置过环境变量,有没有感觉不知道应该在哪个文件里面设置呢?比如~/.profile, ~/.bash_profile, ~/.bashrc , /etc/profile , 等等
转载阅读 1371评论 0收藏 0
aaabbbbttt发布于:2016-12-150
字典法暴力破解Linux用户密码
Linux系列的很多操作系统是采用MD5加密用户密码的,加密的过程是单向的,所以要破解只能采用暴力破解法。
转载阅读 3988评论 0收藏 0
aaabbbbttt发布于:2016-09-130
python中json和字符编码的转换
json是用来转换python object 和json format 的,字符编码有gb2312,gb18030/gbk,utf-8等。在 Python 中出现的 str 都是用字符集编码的 ansi 字符串。Python 本身并不知道 str 的编码,需要由开发者指定正确的字符集 decode。因为 Python 认为 16 位的 unicode 才是字符的唯一内码,而大家常用的字符集如 gb
原创阅读 7176评论 0收藏 0
aaabbbbttt发布于:2016-08-190
select.select()文件句柄的限制
python中的select.select()函数调用了系统底层的select(),但是他有一个限制,就是当打开的文件句柄的数字达到1024后,就会出现下面的错误 ValueError: filedescriptor out of range in select()
原创阅读 3150评论 0收藏 0
aaabbbbttt发布于:2016-08-010
利用sshpass和ssh编写脚本远程执行命令
利用sshpass和ssh编写脚本远程执行命令0daybank
文章评论