技术文章
未读VSCODE使用技巧快捷键
CTRL + L 选择整行
CTRL + SHIFT + K 删除整行
ALT + UP/DOWN 移动选中的行
CTRL + D 批量更改变量(多按几次)
CTRL+ENTER 光标在任意位置换行
CTRL + LEFT/RIGHT 光标跳到下一个单词
CTRL + SHIFT + \ 快速移动到下一个空格或者括号
Shift + Alt + ⬇️(向下箭头):将当前行复制并粘贴到下一行。
大数据离线数仓技术栈与组织架构指南一、常用技术栈1. 数据存储层
HDFS (Hadoop Distributed File System): 分布式文件系统,存储海量数据
Hive: 基于Hadoop的数据仓库工具,提供SQL查询接口
HBase: 分布式NoSQL数据库,用于实时读写
Kudu: 支持快速分析的存储引擎
Iceberg/Delta Lake: 现代数据湖表格式
2. 数据计算层
Spark: 大数据统一分析引擎,支持批处理和流处理
MapReduce: Hadoop原生的分布式计算框架
Flink: 流处理框架,也支持批处理
Presto/Trino: 分布式SQL查询引擎
3. 任务调度层
Airflow: Python编写的工作流管理平台
Oozie: Hadoop生态的工作流调度器
Azkaban: LinkedIn开源的批量工作流任务调度器
DolphinScheduler: 分布式易扩展的可视化DAG工作流任务调度平台
4. 数据集成层
Sqoop: 关系型数据库与Hadoop间的数据传输工具
DataX: 阿里开源的异构数据源离 ...
AIGC 对于非艺术专业人士的人来说,想要具象化自己所幻想的图像时,使用AI进行内容的生产是当下极好的选择。本文章用于记录值得推荐的AI工具。
AI生成图像的网站 用户通过输入文本来完成图像的生产。
copilot 可以用很多次,适合日常使用于logo生成,灵感创作等。
Stable Diffusion 需要部署在本地机器或者Google Colab Notebook。在部署完成后完全免费使用。在有计算机编程基础和良好的机器配置且不怕麻烦的情况下可以考虑Stable DIffusion。生成质量高。
同时介绍一款基于Stable Diffusion推出的在线网页工具DreamStudio,可以免费使用一定次数的AI生成。
Midjourney 无需部署,通过Discord聊天应用程序实现指令输入和生成,应用场景极其广泛,是近年来最为火爆的AIGC工具。订阅制使用,不提供免费使用。生成质量高。
DALL·E 3 无需部署,OpenAI推出的AIGC工具,可免费使用一定次数。之后按积分付费,生产图片消耗积分。
文心一格 无需部署,国内第一梯度AIGC工具,中文友好。可免费 ...
Linux常用命令基础操作
查看版本 uname -a lab_release -a
切换用户 su 某个用户 退出当前用户 退出当前用户
命令说明书 man 某个command
帮助命令 某个command --help
切换目录 cd - 切换到上次访问的目录
查看目录 ls -a 查看当前目前下所有目录和文件(包括隐藏的文件) ls -l 列表查看当前目录下的所有目录和文件(列表查看,显示更多信息)
创建目录 mkdir
删除目录 rm -rf
修改目录 mv -r /source /destination 递归剪切所有文件和文件夹
搜索目录 find /bin -name 'a*' 查看bin目录下a开头的文件
显示当前路径 pwd
查看文件
查看最后一屏内容 cat
实时监控文件 tail -f 查看最后100行 tail -100 a.txt
查看进程
查看所有正在运行的进程 ps -ef
查看当前系统占用资源最多的一些进程 TOP
查看端口
查看当前系统端口 netstat -an
查看磁盘
查看文件系统的磁盘使用情况 df -h
查看内存 free ...
UbuntuUbuntu是做什么的?Ubuntu操作系统是一个基于Linux内核的自由、开源、免费的桌面和服务器操作系统。
Ubuntu的安装部署修改ubuntu里默认镜像的来源
ubuntu镜像_阿里巴巴开源镜像站 (aliyun.com)进入阿里巴巴镜像站找到对应ubantu版本的镜像,注意codename要对应.
清华源
sudo cp /etc/apt/sources.list /etc/apt/sources.list.back 备份当前的设置文件
vim /etc/apt/sources.list 使用vim把source.list中所有deb文件全部注释,把国内镜像复制
sudo apt update sudo apt upgrade 更新
12345678910111213141516#阿里云ubantu镜像deb https://mirrors.aliyun.com/ubuntu/ xenial maindeb-src https://mirrors.aliyun.com/ubuntu/ xenial maindeb https://mirrors ...
Java编程知识1. 基本背景与流程1.1 JAVA技术体系平台
JavaSE(Java Standard Edition标准版)
JavaEE(Java Enterprise Edition企业版)
JavaME(Java Micro Edition小型版)
Java语言的8大特性:
简单:比C/C++简单
面向对象:关注的是有功能的对象。
分布式:基于网络的多主机协作。
健壮性:强类型(所有数据都有类型),异常处理,GC(垃圾自动收集),指针(Pointer)的安全化:引用(Reference)。
安全:所有程序.class必须由ClassLoader类加载器加载。
跨平台:不同平台有不同的JVM。
性能好:Java是编译程序,比解释程序好。
多线程
1.2 JVM、JRE、JDK
JVM(Java Virtual Machine ):Java虚拟机,是运行所有Java程序的假想计算机,是Java程序的运行环境之一,也是Java 最具吸引力的特性之一。我们编写的Java代码,都运行在JVM 之上。
**JRE ** (Java Runtime Environment ...