查看配置文件位置 /usr/local/mysql/bin/mysql --verbose --help | grep -A 1 'Default options' /etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf /usr/local/mysql/my.cnf ~/.my.cnf 配置 spark-sql 链接 ...

在进行内存分配计算的时候会用到一些存储空间的换算，有时候经常弄混，所以写下来记录一下。 存储单位转换 b 是 bit 的缩写，b 就是 bit，也就是比特位（bit）。 B 是 Byte 的缩写，B就是Byte，也就是字节（Byte)。 注意：b 与 B 不同，Kb 是千比特位，KB 是千字节。 1Byte（字节） = 8bit（比特位） ...

初始化 SparkContext spark 1.6 import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ val conf = new SparkConf().setMaster("local").setAppName(...

net data dashboard

克隆仓库（推荐） 大名鼎鼎的requests库的作者大神kennethreitz为大家准备了一个仓库作为一个setup.py的很好的模板，当然你也可以自己手写setup.py。 git clone https://github.com/kennethreitz/setup.py – 安装 1. 注册账号 2. 创建目录结构 /etltools /etltools ...

这次来西安是要出差来的，感觉很意外,来到西安之后发现西安有好多好玩的，好吃的地方，虽然说公司有点偏，但是也阻挡不了我一颗玩耍的心。 这次出差时间大概是十天，25号从北京出发，历经五个多小时的火车之后到达了西安北站。刚刚到的时候没有感觉西安有什么不一样的地方，看这的人啊，看这的建筑风格啊（感觉全国各地的火车站都大同小异）都没有什么特别的。着急找住的地方，所以就下了火车就找办长安通的地方做地铁...

快捷键 markdown预览 ** ctrl + shift + m ** 多光标模式 * 鼠标左键 + ctrl* 汉化包 ** simplified-chinese-menu **

创建RDD 从数据结构创建 RDD 从 Array 创建 RDD val data = Array(1, 2, 3, 4, 5, 6, 7) val rdd = sc.parallelize(data) 从 List 创建 RDD val data = List(1, 2, 3, 4, 5, 6, 7) val rdd = sc.parallelize(data) 从文件创建...

在我的世界里有时会想到这一天的来临，可是没想到这一天会来的这么快，快的有点让我不知所措。总是不希望它的到来，可是冥冥之中来的又这么巧。 公园二零一八年八月十七日，农历戊戌年七月初七。这一天本应该开开心心的过去的，可总是越希望好好过的日子越会出现各种各样的问题。 昨天一天精神都不怎么好，前天睡觉睡的有点晚了，最近不知道怎么的总是感觉很疲惫。 我也越来越控制不住自己的脾气了，不知道为什么只...

一个人要成功，在某一个领域内成功，首先一点是要在某一个领域内花足够多的时间。每个成功都是由时间所累计起来的。在某个领域你花净时间比别人多的花，没有理由你和别人差了好多好多，别人成功了你却是一个平庸的人。有些人是花在了一个事情上好多时间，但是花在这的时间大多都是无用的，浪费掉的，和没花在这的时间一样，净时间还是少，在工作的时候把心思都放在了一会吃什么一会玩什么，要是喜欢的话工作的时间就是休息，...