618 新买了个电脑，换了个大磁盘，放到 Ubuntu 中不知道怎样挂载以及格式化，记录以下以便之后要挂载磁盘的时候又忘记了。 GPT分区 GPT 分区表与 MBR 分区表 MBR 的全称是 Master Boot Record（主引导记录），主引导扇区是硬盘的第一个扇区，它由三个部分组成，主引导记录MBR、硬盘分区表 DPT 和硬盘有效标志。MBR最大只能支持4个主分...
hive优化
hive的优化乍看起来和之前hive数据倾斜的内容差不多，实则不太一样。优化不只是数据倾斜的情况才优化，数据分配的不合理、资源浪费的太多都是可优化项。 调整 map 个数 需要考虑的问题 输入数据的大小 输入数据的行数 还需要解决的一个问题是一个 map 使用了多少 CPU 的资源和内存的资源，然后综合来看一个 map 处理多大或者多少行的...
git
巨牛逼的git教程 创建分支 git branch branch_1 git checkout branch_1 git remote add original url git push -u origin branchname 面密 # 强制覆盖git 上内容 git push origin -u -f master 合并分支 合并某一个 commit Git合并指定...
Ubuntu美化
安装主题工具：GNOME Tweaks （Ubuntu18.04对软件中心也做了强化，也可以去软件中心进行下载） sudo apt-get update sudo apt-get install gnome-tweak-tool
hive窗口函数（一）
Hive 中提供了越来越多的分析函数，用于完成负责的统计分析。利用这些分析函数与窗口函数结合，可以快速、方便的做一些聚合、统计等运算。 SUM 需要注意的是：结果和 ORDER BY 有关，默认为升序 如果不指定 ROWS BETWEEN，默认为从起点到当前行 如果不指定 ORDER BY，则将分组内所有值累加 ...
hive数据倾斜2
参数调节 tihs is sjqx 值得一看 set mapred.child.java.opts=-Xmx8000m; set mapreduce.map.java.opts=-Xmx8096m; set mapreduce.reduce.java.opts=-Xmx8096m; set mapreduce.map.memory.mb=8096; set mapreduce.redu...
hive数据倾斜
使用 Hive 的时候最头疼的就是数据倾斜的问题，其实这个问题不光会体现在 Hive 上，目前大数据计算引擎都会面临这种问题。有问题就会有解决的方法，现在来一点一点分析数据为什么会倾斜，倾斜来到底怎样去优化。 数据倾斜数据量的倾斜，计算量的倾斜。数据倾斜也分为数据量的倾斜，计算量的倾斜。数据量的倾斜是指某一个节点上分配了比其它节点多数倍甚至数十倍的数据，计算量的倾斜是指每个节点上的数据量基...
黑群晖
https://www.nas2x.com/threads/dsm-6-2-1-20190221.29/ https://www.nas2x.com/threads/dsm-6-2-1-20190221.29/ ```{.python .input} http://www.nasyun.com/thread-31988-1-1.html https://liuzhiqiangruc....
黑群晖 Checkpoint
https://www.nas2x.com/threads/dsm-6-2-1-20190221.29/ https://www.nas2x.com/threads/dsm-6-2-1-20190221.29/ ```{.python .input} http://www.nasyun.com/thread-31988-1-1.html https://liuzhiqiangruc....
买房记
人生中第一个房子，看起来买的有些草率，但是心情还是很激动的，毕竟送给了自己一个这么大的生日礼物！ 准备材料 办理贷款还有买房手续一大堆的东西材料，还有公积金的一些手续，这次买的房子不支持公积金贷款感觉亏了好多钱。 身份证复印件 户口本复印件 半年银行流水 个人征信报告 收入证明 银行贷款 要分清哪个银行，每个地方每个银行贷款的利率都是不一样的 本次的贷...