清风笑丶            
奕剑听雨
MapReduce入门和优化方案 MapReduce入门和优化方案
Mapreduce概述Mapreduce式谷歌开源的一项重要技术,是一个编程模型,用来进行大数据量的计算,对于大数据量的计算通常采用的处理方式式并行计算,对于许多开发者来说,自己完全实现一个并行计算程序难度太大.而MapReduce就是一种
2018-12-22 大数据
MapReduce
Hadoop的RPC工作原理 Hadoop的RPC工作原理
Hadoop的远程过程调用(Remote Procedure Call,RPC)是Hadoop中核心通信机制，RPC主要通过所有Hadoop的组件元数据交换，如MapReduce、Hadoop分布式文件系统(HDFS)和Hadoop的数据库
2018-12-20 大数据
Hadoop
Hadoop的I/O操作 Hadoop的I/O操作
Hadoop自带的一条原子操作作用域数据I/O操作,其中有一些技术比Hadoop更常用,如数据完整性保持和压缩在处理好几个TB级别的数据集时值得关注. 数据完整性Hadoop用户不希望在存储和处理数据时丢失或损坏任何数据，但是当系
2018-12-20 大数据
Hadoop
Yarn Yarn
YARN的介绍Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它
2018-12-19 大数据
Yarn
HDFS高级功能 HDFS高级功能
安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的bloc
2018-12-19 大数据
HDFS
HDFS的操作SHELL和API HDFS的操作SHELL和API
WEB WEB端口50090查看SecondaryNameNode信息。可以查看Hadoop的版本，NameNode的IP，Checkpoint等信息。 WEB端口50070可以查看HDFS的信息和目录结构 SHELL查看
2018-12-18 大数据
HDFS
Hadoop分布式文件系统HDFS Hadoop分布式文件系统HDFS
HDFSHDFS是 Hadoop Distribute File System的缩写，是谷歌GFS分布式文件系统的开源实现，Apache Hadoop的一个子项目，HDFS基于流数据访问模式的分布式文件系统，支持海量数据的存储，允许用户将百
2018-12-17 大数据
Hadoop
Hadoop简介与分布式安装 Hadoop简介与分布式安装
Hadoop简介Hadoop 是Apache Lucene创始人道格·卡丁(Doug Cutting)创建的,Lucene是一个应用广泛的文本搜索库,Hadoop起源于开源网络搜索引擎Apache Nutch,后者是Lucene项目的一部分
2018-12-17 大数据
Hadoop
Elasticsearch的JavaAPI Elasticsearch的JavaAPI
获取客户端对象public class App { private TransportClient client; //获取客户端对象 @Before public void
2018-12-16 数据库
Elasticsearch
15 / 18