这篇文章涵盖了spark与常用关系型数据库交互的所有内容(oracle,sqlserver与mysql类似这里就不详细说明了)，这也是我项目中用到最常用的几种，应该可以帮助大家快速开发项目

在Hbase-shell中执行命令list之后报了一串错误…如何解决？

• SLF4J: Class path contains multiple SLF4J bindings.
  SLF4J: Found binding in [jar:file:/home/xdl/hbase-0.98.9-hadoop2/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]
  SLF4J: Found binding in [jar:file:/home/xdl/hadoop-2.5.2/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
  SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
  2018-10-19 05:31:49,934 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  --以上是因为Hadoop的依赖包与hbase的依赖包中的jar包相同，不影响启动关键在于下面的异常：
  

  阅读全文

结构化数据、半结构化数据和非结构化数据

什么是结构化数据、半结构化数据和非结构化数据？

(1)结构化数据
结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。举一个例子：

id      name    age     gender
1       lyg     12      male
2       liangym 13      female
3       liang   18      male

所以，结构化的数据的存储和排列是很有规律的，这对查询和修改等操作很有帮助。但是，显然，它的扩展性不好（比如，我希望增加一个字段，怎么办？）。

单点登录(SSO => Single Sign On)

单点登录SSO是指Single Sign On 从一个系统登录，其他系统免登录，在一个系统用户增多，架构完善之后为了方便运营人员登录多个系统而不需要每次都输入用户名密码，所以实现单点登录显得尤为重要，这里分享一下我在项目中如何用单点登录实现用户登录一次即可访问其他相互信任的系统

阅读全文

之前和几个朋友在开发网站时用到了redis数据库，这里分享干货给大家，废话不多说直接上代码

我们用到redis的地方是在验证登录时的一个小demo，思路是每个用户登录到网站时给这个用互提供一个唯一的校验码ticket，之后存到redis中在后续访问网站相关内容时要取出ticket进行验证方可继续访问

阅读全文

SparkSql作为Spark的结构化数据处理模块，提供了非常强大的API，让分析人员用一次，就会为之倾倒，为之着迷，为之至死不渝。在内部，SparkSQL使用额外结构信息来执行额外的优化。在外部，可以使用SQL和DataSet 的API与之交互。

利用SparkSQL求股市K线波峰波谷

前几天朋友问了一道题我觉得还不错拿出来分享一下，如何求股市K线的波峰波谷，这里我简单分析一下我的思路，首先K线是一系列无序的数字组成的，根据每个数字与其相邻的数字之间的大小关系我们就能很轻易的求出波峰波谷，下面开始分析

阅读全文

Spark简介

三种资源管理器：Yarn、Standalone、Mesos（粗粒度、细粒度）
粗粒度管理模式：一次分配运行过程中的全部资源，且运行过程中要一直占用这些资源（即使不用），程序运行结束后，回收全部资源；
细粒度管理模式：资源按需分配。

Scala语言的特点：

• 基于JVM（可以重用类库）
• 简洁优雅
• 面向对象 + 函数式编程（FP）

函数式编程的数学基础是 : λ演算
函数式编程中，所有的数据都是不可变的，不同的函数之间通过数据流来交换信息，函数作为FP中的一等公民，享有跟数据一样的地位，可以作为参数传递给下一个函数，同时也可以作为返回值。

SpringCloud

SpringBoot+SpringCloud应用，实现微服务架构。

SpringBoot:快速开发SpringMVC服务API

SpringCloud:服务管理，例如服务注册、服务查找、服务调用、集群、容错机制、监控、统一配置、消息总线等。