Apache Pig TOKENIZE 函数

Apache Pig TOKENIZE 函数用于拆分现有字符串并在结果中生成词袋。

 

令牌函数示例

在此示例中，我们将字符串拆分为令牌。

 

执行令牌函数的步骤

 

  • 在本地机器上创建一个文本文件并插入元组列表。

 

$ nano evaltokenize.txt

Apache Pig TOKENIZE Function

  • 检查插入到文本文件中的元组。
$ cat evaltokenize.txt

Apache Pig TOKENIZE Function

  • 上传特定目录下 HDFS 上的文本文件。
$ hdfs dfs-put evaltokenize.txt /pigexample
  • 开启猪 MapReduce 运行模式。
$ pig
  • 加载包含数据的文件。
grunt> A = LOAD '/pigexample/evaltokenize.txt' USING PigStorage(',') AS (a1:chararray) ;
  • 现在，执行并验证数据。
grunt> DUMP A;

Apache Pig TOKENIZE Function

  • 让我们返回字符串的标记化形式。
grunt> Result = FOREACH A GENERATE TOKENIZE(a1);
grunt> DUMP Result;

Apache Pig TOKENIZE Function

在这里，我们得到了想要的输出。

Apache Pig ABS 函数用于返回表达式的绝对值。如果结果是否定的，则返回结果的否定。 语法ABS(expression) ABS 函数示例在这个例子中，我们返回绝对值。&nb ...