Pig 运行模式

Apache Pig 以两种模式执行: 本地模式和 MapReduce 模式。

Apache Pig Run Modes

 

本地模式

  • 它在单个 JVM 中执行，用于开发实验和原型设计。
  • 在这里，使用本地主机安装和运行文件。
  • 本地模式适用于本地文件系统。存储在本地文件系统中的输入和输出数据。

本地模式grunt shell的命令:

$ pig-x local

 

MapReduce 模式

  • MapReduce 模式也称为 Hadoop 模式。
  • 这是默认模式。
  • 在此 Pig 中，将 Pig Latin 渲染为 MapReduce 作业并在集群上执行它们。
  • 它可以针对半分布式或完全分布式的 Hadoop 安装执行。
  • 此处，输入和输出数据存在于 HDFS 上。

Map reduce 模式的命令:

$ pig

或者，

$ pig-x mapreduce

 

Pig 程序的执行方式

以下是在本地和 MapReduce 模式下执行 Pig 程序的方式:：

  • 交互模式-在这种模式下，Pig 在 Grunt shell 中执行。要调用 Grunt shell，请运行 pig 命令。一旦 Grunt 模式执行，我们就可以在命令行中以交互方式提供 Pig Latin 语句和命令。
  • 批处理模式-在此模式下，我们可以运行扩展名为 .pig 的脚本文件。这些文件包含 Pig Latin 命令。
  • 嵌入式模式-在这种模式下，我们可以定义自己的功能。这些函数可以称为 UDF(用户定义函数)。在这里，我们使用 Java 和 Python 等编程语言。

Pig Latin 是一种数据流语言，Apache Pig 使用它来分析 Hadoop 中的数据。它是一种文本语言，将 Java MapReduce 习语中的编程抽象为符号。 Pig Latin 语句Pig L ...