qianjiangbing
- 浏览: 87194 次
- 性别:
-
最新评论
-
freezingsky：
人生从来没有害怕过走下坡，可惜的是，大多数夫妻或者情侣，一到挫 ...
我从11楼跳下去 -
胡旭个人博客：
哈哈，这个早就看过了！
我从11楼跳下去 -
砺雪凝霜：
跳下去自己就后悔了，可是后悔已经来不及了，我们关注的不 ...
我从11楼跳下去 -
kuchaguangjie：
最后没摔死?
我从11楼跳下去 -
无心：
加油！
File类(目录遍历)
文章列表
linux 64位下的 mongodb 安装
http://jingyan.baidu.com/article/363872ecef62466e4ba16f08.html
将beowulf.json 插入到mongodb
库名：beowulf
表名：input
mongoimport -d beowulf -c input beowulf.json
使用'use beowulf'切换库
步骤一
数据倾斜表现：
有的task执行很快，有的很慢或者内存溢出
定位数据倾斜的位置：
用client模式提交，观察log
解决方案
1、在hive etl时进行数据聚合，把key相同的数据聚合成一条数据，这样就可能不用shuffle了，从而解决数据倾斜。
当没办法对key进行聚合时也可以选择其它粒度聚合，比如数据中包含了几个城市，几个职业，可以选择合适的粒度聚合。
2、过滤导致倾斜的key
如果业务允许某几个key的数据可以丢弃，那么对于有两个key对应10万条数据，而其它key都是几十条，那么就可以过滤那两个key。
3、提高ruduce并行度从而使ke ...
机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)
http://blog.csdn.net/yhb315279058/article/details/51035631
Spark面对OOM问题的解决方法及优化总结
Java 理论和实践: 了解泛型
识别和避免学习使用泛型过程中的陷阱
http://www.ibm.com/developerworks/cn/java/j-jtp01255.html
关于内部类的几点认识
- 博客分类：
- java
1、非静态内部类:内部类可以访问外部类的成员变量，甚至是私有的。
2、静态内部类：只能访问外部类的静态变量。
具体参考：
Java为什么要使用内部类？
linux下导入、导出mysql数据库命令
- 博客分类：
- Linux
一、导出数据库用mysqldump命令（注意mysql的安装路径，即此命令的路径）：1、导出数据和表结构：mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql#/usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql敲回车后会提示输入密码
2、只导出表结构mysqldump -u用户名 -p密码 -d 数据库名 > 数据库名.sql#/usr/local/mysql/bin/ mysqldump -uroot -p -d abc > abc.sql
注：/usr/local/mysql ...
java IO流文件的读写具体实例
- 博客分类：
- java
参考http://www.jb51.net/article/44684.htm
国内Maven较快的镜像
- 博客分类：
- Maven
国内连接maven官方的仓库更新依赖库，网速一般很慢，收集一些国内快速的maven仓库镜像以备用。
====================国内OSChina提供的镜像，非常不错===================
<mirror>
<id>CN</id>
<name>OSChina Central</name> ...
打开eclipse出现下面的错误信息：
An internal error occurred during: "Task List Indexer".
For input string: "Kama-Pc conflicted copy"
解决方案
cd 到C:\Users\"User"\Documents\workspace\.metadata\.mylyn\.taskListIndex 目录下
找到Kama-Pc conflicted copy文件并删除，
删除之前最好把文件保存一下备用。
即可解决问题！
...
POJO = "Plain Old Java Object"，是MartinFowler等发明的一个术语，用来表示普通的Java对象，不是JavaBean, EntityBean 或者 SessionBean。POJO不但当任何特殊的角色，也不实现任何特殊的Java框架的接口如，EJB， JDBC等等。 即POJO是一个简单的普通的Java对象，它包含业务逻辑或持久逻辑等，但不是JavaBean、EntityBean等，不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。 下面是摘自Martin Fowler个人网站的一句话： "We ...
对象的序列化及反序列化
- 博客分类：
- java
可参考：
Java基础学习总结——Java对象的序列化和反序列化
http://kb.cnblogs.com/page/515982/
适配器、桥接与外观三模式之间关系
- 博客分类：
- 网络编程
适配器模式和桥接模式都是间接引用对象，因此可以使系统更灵活，在实现上都涉及从自身以外的一个接口向被引用的对象发出请求。
两种模式的区别在于使用场合不同，适配器模式主要解决两个已有接口间的匹配问题， ...