使用NFS网关功能将HDFS挂载到本地系统

news/2024/10/5 11:08:33 标签: hdfs, hadoop, 大数据

HDFS安装教程 

HDFS安装教程icon-default.png?t=N7T8http://t.csdnimg.cn/2ziFd

使用NFS网关功能将HDFS挂载到本地系统

 简介

 HDFS提供了基于NFS(Network File System)的插件,可以对外提供NFS网关,供其它系统挂载使用。 NFS 网关支持 NFSv3,并允许将 HDFS 作为客户机本地文件系统的一部分挂载,现在支持: 上传、下载、删除、追加内容 如下图,将HDFS挂载为Windows文件管理器的网络位置

 

 配置

 在node1进行如下操作

1. 在core-site.xml 内新增如下两项

  <property>    

        <name>hadoop.proxyuser.hadoop.groups</name>    

        <value>*</value>  

</property>  

<property>    

        <name>hadoop.proxyuser.hadoop.hosts</name>    

        value>*</value>  

</property>

解释: 

 name: hadoop.proxyuser.hadoop.groups

value:*

允许hadoop用户代理任何其它用户组

name:hadoop.proxyuser.hadoop.hosts

value:*

允许代理任意服务器的请求

 2. 在hdfs-site.xml中新增如下项

  <property>    

        <name>nfs.superuser</name>    

        <value>hadoop</value>  

</property>  

<property>    

        <name>nfs.dump.dir</name>    

        <value>/tmp/.hdfs-nfs</value>  

</property>  

<property>    

        <name>nfs.exports.allowed.hosts</name>    

        <value>192.168.88.1 rw</value>  

</property>

解释 

nfs.suerpser:NFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户) nfs.dump.dir:NFS接收数据上传时使用的临时目录 nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限,rw表示读写,IP整体或部分可以以*代替

教程设置的允许192.168.88.1以rw连接(这个IP是电脑虚拟网卡VMnet8的IP,连接虚拟机就走这个网卡) 

 启动NFS功能

(node1执行)

 1. 将配置好的core-site.xml和hdfs-site.xml分发到node2和node3等机器

2. 重启Hadoop HDFS集群(先stop-dfs.sh,后start-dfs.sh)

3. 停止系统的NFS相关进程

a.

systemctl stop nfs

systemctl disable nfs     关闭系统nfs并关闭其开机自启

b.

yum remove -y rpcbind    卸载系统自带rpcbind

4. 启动portmap(HDFS自带的rpcbind功能)(必须以root执行):hdfs --daemon start portmap

5. 启动nfs(HDFS自带的nfs功能)(必须以hadoop用户执行):hdfs --daemon start nfs3

 检查NFS是否正常

 以下操作在node2或node3执行(因为node1卸载了rpcbind,缺少了必要的2个命令,无法检验)

执行:

rpcinfo -p node1

正常输出如下

 

 执行:

showmount -e node1

可以看到 / 192.168.88.1 

 

在Windows挂载HDFS文件系统 

此功能需要专业版,如果是家庭版Windows需要升级为专业版

1. 开启Windows的NFS功能 

 

 2. 在Windows命令提示符(CMD)内输入:net use E: \\启动nfs和rpcbind的机器ip地址\!

注意 E 要是系统没要用到的名称

 3. 完成后即可在文件管理器中看到盘符为X的网络位置

 

 

至此,就将HDFS挂载到Windows文件管理器内了 可以进行上传、下载、改名、删除、追加文本等操作。 

 4. 点击右键客户断开连接

 


http://www.niftyadmin.cn/n/5539714.html

相关文章

Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测

章节内容 上一节我们完成了&#xff1a; Hive中数据导出&#xff1a;HDFSHQL操作上传内容至Hive、增删改查等操作 背景介绍 这里是三台公网云服务器&#xff0c;每台 2C4G&#xff0c;搭建一个Hadoop的学习环境&#xff0c;供我学习。 之前已经在 VM 虚拟机上搭建过一次&am…

Debezium系列之:记录一次数据库某张表部分数据未同步到hive表的原因

Debezium系列之:记录一次数据库某张表部分数据未同步到hive表的原因 一、背景二、查找数据丢失流程三、数据丢失原因四、解决方法一、背景 反馈mysql数据库中某张表的数据没有同步到hive中,现在需要排查定位下原因数据丢失一般常见需求排查的方向: 数据是否采集到hdfs上采集…

【Python】成功解决解决AttributeError: ‘int‘ object has no attribute ‘encode‘

【Python】成功解决解决AttributeError: ‘int‘ object has no attribute ‘encode‘ &#x1f308; 个人主页&#xff1a;高斯小哥 &#x1f525; 高质量专栏&#xff1a;Matplotlib之旅&#xff1a;零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程…

21天学通C++:第九、十章节

第九章&#xff1a;类和对象 带默认值的构造函数参数 注意&#xff1a;默认构造函数是调用时可不提供参数的构造函数&#xff0c;而并不一定是不接受任何参数的构造函数。 因此&#xff0c;下面的构造函数虽然有两个参数&#xff0c;但它们都有默认值&#xff0c;因此也是默认…

Audio Toolbox 常用函数

Audio Toolbox 常用函数 Audio Toolbox 常用函数AudioConverterNewAudioConverterFillComplexBufferAudioConverterComplexInputDataProcAudioFileReadPacketData Audio Toolbox 常用函数 AudioConverterNew 作用&#xff1a;根据指定的音频格式创建一个新的音频转换器对象。…

华为 eNSP 模拟器 配置RIP实例 动态路由协议

1 实验拓扑 2 配置路由器 #R1 Huawei>sys [Huawei]sysname R1 [R1]interface GigabitEthernet 0/0/0 [R1-GigabitEthernet0/0/0]ip address 192.168.1.1 255.255.255.0 [R1-GigabitEthernet0/0/0]qu [R1]rip [R1-rip-1]network 192.168.1.0 [R1-rip-1]version 2 [R1-rip-…

Bpuzzle V1.2 支持任意图片!BlueLife Puzzle (bPuzzle) 是一款简单的游戏,通过按正确的顺序滑动拼图块来玩

BlueLife Puzzle (bPuzzle) 是一款简单的游戏&#xff0c;通过按正确的顺序滑动拼图块来玩。将您选择的图像拖放到主窗口或使用文件菜单选择默认图像。如果图片格式是 JPG&#xff0c;大小无关紧要&#xff0c;但如果是 Png&#xff0c;则应为 800600 像素&#xff0c;然后 bPu…

ChatGPT对话:按ESC键退出Python程序

问&#xff1a;python&#xff0c;这条语句if keyboard.is_pressed(‘Esc’):会阻塞程序&#xff0c;等待按键吗&#xff1f; ChatGPT&#xff1a; if keyboard.is_pressed(Esc): 这条语句不会阻塞程序&#xff0c;它只是检查在执行这条语句时 Esc 键是否被按下。如果 Esc 键…