自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

GYT0313

Email:guyongtao@qq.com;GitHub:https://github.com/GYT0313

  • 博客(19)
  • 资源 (26)
  • 收藏
  • 关注

原创 01-安装Spark-2.0.2--配置支持pytho3、ipython3

前言本篇博文为博主开始学习Spark技术的第一篇博客。1. 下载安装Spark-2.0.2因为参考书籍:Spark快速大数据分析使用的是Spark-1.0不支持python3,且官网下载时没有以前版本的链接,并且博主所安装的Hadoop集群为2.7.3,因此下载Spark-2.0版本。下载Spark官网链接:http://spark.apache.org/downloads.html...

2018-12-26 22:12:44 409

原创 Sqoop从MySQL导入数据到HBase使用root用户失败

报错ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'master' (using password: YES)java.sql.SQLException: Access denied for user 'root'@'maste...

2018-12-25 18:36:54 279

原创 爬取赶集网招聘信息:Python3+requsts+正则+MySQL

1. 前言本次爬虫使用:Python3requsts 请求正则解析MySQL 存储2. 爬取结果示例时间:2018年12月25日,每个类别分别爬取 1 个分页,共获取:2673条数据。(运气好,一次运行完成,IP没有被限制)3. 运行须知运行前确保MySQL中已创建相应数据库、表运行过程中很可能报错退出,最可能的原因就是访问网站过多,IP被限制,需要验证,手动使用浏览器...

2018-12-25 15:36:32 328

原创 运行MapReduce程序报错--java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException

java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.gyt.collaborativeFiltering.CollaborativeFilteringByUser$ColFilterMapper.<init>() at org.apache.hadoop.mapre...

2018-12-22 09:49:13 1252

原创 协同过滤算法基于用户--使用MapReduce框架实现为用户推荐电影

package com.gyt.collaborativeFiltering;import java.io.BufferedReader;import java.io.File;import java.io.FileOutputStream;import java.io.FileReader;import java.io.IOException;import java....

2018-12-20 20:25:01 545

原创 四种方法解决 -- HBase启动shell报错--ERROR: Can't get master address from ZooKeeper; znode data == null

1.报错如下:hbase(main):001:0> listERROR: Can't get master address from ZooKeeper; znode data == nullHere is some help for this command:List all tables in hbase. Optional regular expression parame...

2018-12-18 10:55:16 3817 6

原创 Sqoop相关功能操作示例

安装Sqoop:https://blog.csdn.net/qq_38038143/article/details/847280241.查看sqoop命令帮助hadoop@master:~$ sqoop help18/12/05 17:40:01 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7usage: sqoop COMMAND [ARGS...

2018-12-14 16:48:54 400

原创 JavaWeb-实现文件上传、下载-三个版本

1. 使用Comm组件https://blog.csdn.net/qq_38038143/article/details/849609932. 使用Smart组件可按文件名搜索文件https://blog.csdn.net/qq_38038143/article/details/849602932. 使用Smart组件可按文件名、文件内容搜索文件(Hadop的倒排索引技术)My...

2018-12-14 11:41:04 197

原创 JavaWeb-文件上传下载-可基于文件内容查询文件(MySQL+Servlet+Hadoop)

hdfs dfs -mkdir -p /data/fileSmartUploadhdfs dfs -mkdir -p /output/

2018-12-13 21:44:02 1003 2

原创 Linux查看Tomcat端口

分别执行命令:ps -ef| grep tomcatsudo netstat -apn | grep 7507 # 进程ID根据上条命令查看如图:

2018-12-13 21:03:46 37186

原创 JavaWeb-文件上传下载-Comm组件

最终效果:直接上代码:CSDN:https://download.csdn.net/download/qq_38038143/10843987GitHub:https://github.com/GYT0313/FileUploadDownload更加完善版:文件搜索、图片拖拽上传https://blog.csdn.net/qq_38038143/article/details/849...

2018-12-11 20:09:02 448

原创 JavaWeb-Smart组件实现文件上传下载

1.最终效果:![在这里插入图片描述2. 代码结构分析:JAVA代码共4个文件:主要功能分别如下:编码过滤器展示文件下载文件上传文件JSP页面共两个文件:主要功能分别如下:主页页面展示(上传、下载、查询等)拖拽上传图片的处理JSP页面静态文件和JAR包:3. 代码分析:SmartUploadServlet.java:使用SmartU...

2018-12-11 19:48:58 461

原创 MapReduce练习 - 倒排索引

问题描述读取多个文件的内容,计算内容在那个文件有出现,并且计算其出现的次数(权重),如下:已有三个文件,其内容如下:经过处理,其处理结果如下:以第一行为例: 表示在file1.txt,file2.txt各包含1个 Hadoop。准备输入文件:上传到 hdfs://master:9000/data/indvertedIndex2:代码思路:在Mapper端:根据输入内...

2018-12-06 19:12:09 173

原创 Sqoop导入数据到Hive报错,java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

执行命令,如:sqoop import --connect jdbc:mysql://master:3306/sqoopDB --table employees --username bear --password 123456 --hive-import -m 1报如下错误:18/12/05 20:13:31 INFO hive.HiveImport: Loading uploaded...

2018-12-05 20:27:42 2642 1

原创 MarReduce小练习 - 单表关联(使用标识符)

题意:根据儿子、父母关系,输出孙子、爷奶关系:输入:                &amp

2018-12-04 12:39:02 96

原创 Sqoop1安装-mysql测试

1. 下载安装包地址:http://www.apache.org/dyn/closer.lua/sqoop/解压:tar -zxvf soft/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ~/mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.72. 配置vim ~/.bashrc,添加...

2018-12-02 21:16:37 581

原创 Sqoop连接mysql报错-已解决

报错使用连接测试命令:sqoop list-databases --connect jdbc:mysql://master:3306/ --username bee -P报如下错误:18/12/02 20:11:44 ERROR manager.CatalogQueryManager: Failed to list databasescom.mysql.cj.jdbc.exceptio...

2018-12-02 20:19:34 6052 3

原创 Hadoop集群安装Pig

下载压缩包:http://pig.apache.org/releases.html解压:tar -zxvf pig-0.17.0.tar.gz -C ~/配置:在 ~/.bashrc 文件末尾添加,其中HADOOP_HOME为Hadoop安装路径,如HADOOP_HOME = /usr/local/hadoop:export PIG_HOME=/home/hadoop/pig-0.1...

2018-12-01 10:45:50 255

原创 Pig-使用java实现用户自定义函数编译pig.jar包错误

从SVN库中导出代码创建本地的pig.jar文件时报错:创建命令:svn co http://svn.apache.org/repos/asf/pig/trunkcd trunkant执行 ant 时报如下错误:BUILD FAILED/home/hadoop/pig-0.17.0/logs/file/trunk/build.xml:812: The following error...

2018-12-01 10:36:33 312

pygame之《飞机大战》图片和音乐

该资源是pygame之《飞机大战》小游戏开发的必须资源,包含图片,音乐。

2018-04-23

MySQL-8 离线deb 包

MySQL的deb包,包括mysql核心文件和依赖文件,共10个deb包。

2019-03-27

java版贪吃蛇源码+素材

java版的贪吃蛇源码,java-GUI应用程序,使用Swing绘图技术。

2018-04-23

pygame之《飞机大战》

基于Python的模块pygame实现的《飞机大战》小游戏。可熟悉与巩固Python基础知识。

2018-04-22

eclipse-committers-2018-09-linux-gtk-x86_64.tar

2018年9月版本的eclipse-linux:eclipse-committers-2018-09-linux-gtk-x86_64.tar

2018-11-17

hadoop2x-eclipse-plugin

已配置2.7.3版本,hadoop2x-eclipse-plugin用于编译hadoop-eclipse-2.7.3.jar包。

2018-10-30

file.rar,多种文件格式测试数据集合

多种格式的数据集合,包括如csv、txt、json、日志等等。

2019-03-13

FileSmartUploadDownload-文件上传下载

JavaWeb实现文件上传下载,使用Comm组件,简单实现上传、下载、展示。

2018-12-11

Python-3.6.2

Python-3.6.2压缩包,可以在Linux下解压安装。。。。。

2019-03-07

eclipse-java-mars-1-linux-gtk-x86_64.tar.gz

Linux版本的Eclipse集成开发工具,解压即可使用,可作为Hadoop开发。

2018-09-29

flux安装工具

f.lux创意十足很贴心的一款自动屏幕亮度色彩调节,创意在于会根据时间变化,自动调节电脑屏幕的亮度、色彩,让电脑屏幕始终适合保持在适合阅读的状态。f.lux 会据此判断日出、日落时间,分析出特定时间的光照强度,并以此为依据调节屏幕。f.lux支持 Windows、Mac 、 Linux和IPhone及IPad。

2018-09-03

DiagramDesignerSetup1.29.1

DiagramDesignerSetup1.29.1安装包,是一款破解版中文软件。

2018-09-03

《飞机大战》exe程序

基于Python模块pygame开发的《飞机大战》小游戏,该文件为exe文件,可以直接在windows上运行。源码见:https://download.csdn.net/download/qq_38038143/10366975

2018-04-23

FileSmartHadoop文件上传下载-实现基于文件内容查询文件

FileSmartHadoop文件上传下载-实现基于文件内容查询文件。使用MySQL、Hadoop技术。

2018-12-13

Navicat-包含破解执行文件

压缩包内包含安装文件和破解文件。安装完成后,先双击执行破解软件,再打开安装后的Navicat。Navicat是一套快速、可靠并价格相当便宜的数据库管理工具。

2018-12-02

ccsetup561.exe

CCleaner是一款免费的系统优化和隐私保护工具。CCleaner的主要用来清除Windows系统不再使用的垃圾文件,以腾出更多硬盘空间。它的另一大功能是清除使用者的上网记录。

2019-09-24

FileSmartUpload-文件上传下载页面实现

JavaWeb编写上传、下载页面,使用主要使用SmartUpload,并且实现文件搜索、展示、图片拖拽上传。

2018-12-11

Google_Chrome_(64bit)_v65.0.3325.181.exe

Google Chrome是一款由Google公司开发的网页浏览器,该浏览器基于其他开源软件撰写,包括WebKit,目标是提升稳定性、速度和安全性,并创造出简单且有效率的使用者界面。 旧版本-v65。

2020-01-07

mysql-8.0-deb包

注:***少了一个deb,链接:https://pan.baidu.com/s/12_4OIt4XJBpP1i76BXpLTA 提取码:e48g 。 MySQL的deb包,包括mysql核心文件和依赖文件,共10个deb包。

2019-01-03

fail2ban-0.9.4.tar

fail2ban是一款实用软件,可以监视你的系统日志,然后匹配日志的错误信息(正则式匹配)执行相应的屏蔽动作。

2018-09-03

已编译的PIL模块

已经过编译的PIL模块.不需要各种依赖,可直接下载安装.

2018-05-04

hadoop2x-eclipse-plugin-original

hadoop2x-eclipse-plugin-original未配置的源码包,可用于编译hadoop-eclipse-x.y.z.jar包。

2018-10-30

hadoop-eclipse-plugin-2.7.3.jar

安装Hadoop-Eclipse-Plugin插件,来实现hadoop的本地运行环境插件,来实现Hadoop在Eclipse的运行。

2018-10-26

Xshell后台查杀工具

Xshell的某个官方版本中被打包了恶意代码,一旦运行此版本软件,受害电脑极可能遭不法分子远程控制。由于此版本可在官方途径或自动升级中下载安装,且有正常签名,可能造成大面积传播。软件制作方已对此发布安全公告,并发布新版本解决此问题。 Xshell后门查杀工具可以用于检测和查杀Xshell后门,并指引用户更新无后门的版本。

2018-09-03

RedisDesktopManager

Redis的桌面化管理工具,通过此工具能够可视化的查看和管理Redis数据库。

2018-09-29

数据结构dsmo.rar

以图形的方式展示数据结构的各类算法。并且包括C 和 Pascal版本的源代码。包括顺序表、链表、栈、串、稀疏矩阵、广义表、二叉树、图、存储管理、静态/动态查找、内部/外部排序。

2019-05-15

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除