jps 虚拟机进程状态工具 jps (Java Virtual Machine Process Status Tool) 显示指定系统内所有的 HotSpot 虚拟机进程。 jps 命令格式 jps [options] [hostid] jps OPTIONS -q 只显示 Java 进程的 pid，不显示 class 名称、jar 文件名和传递给 main 方法的...
jvm类加载机制
类的生命周期 加载 连接 验证 准备 解析 初始化 结束生命周期 Class类文件结构之ConstantValue属性 java博客 https://blog.csdn.net/qq_41701956/article/details/81664921 https://www.jianshu.com/p/deae44fcc6b3 https://www.cnblogs....
hive原理
mr原理
mapreduce原理
map任务的输出先输出到环形缓冲区，环形缓冲区到阈值之后会生成spill文件，这个spill文件是有序的（map的第一次排序），等所有输出都结束之后，会将所有的spill文件进行reduce的个数进行合并，假设一个 map 任务可能生成4个文件（这 4 个文件是有序的，map阶段的排序），一共又10个 map 任务，生成40个文件 这 40 个文件分成4组，每组 10 个文件然后排序合并（...
面试别人的问题
hive 怎样增加列 窗口函数（排名函数、排序函数） 数仓遇到过比较棘手的问题 模型划分、etl流程 hive 原理 hive 调优（数据倾斜） hive spark 区别 https://tech.meituan.com/2019/10/17/meituan-saas-data-warehouse.html
python引包机制
把要交互的脚本放到根目录下执行 python打包命令 python setup.py sdist bdist_wheel
Ubuntu创建快捷方式
创建快捷方式 进入到目录 /usr/share/applications 创建以 desktop 为后缀的文件 例：idea 快捷方式 [Desktop Entry] Encoding=UTF-8 Name=idea Comment=idea Exec=/usr/local/idea-IC/bin/idea.sh Icon=/usr/loca...
DataSet API
DataSource
hive文件格式及压缩
文件格式 查看hive的wiki，文件的wiki Text File //文本，默认值 SequenceFile // 二进制序列文件 RCFile //列式存储格式文件 Hive0.6以后开始支持 Avro Files //列式存储格式文件，比RCFILE有更高的压缩比和读写效率，Hive0.11以后开始支持 ORC Files Parquet Parquet /...
安装python
#yum install libffi-devel -y yum install sqlite-devel /usr/libexec/urlgrabber-ext-down