博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
谈FME批量自动化数据转换方法
阅读量:4882 次
发布时间:2019-06-11

本文共 5498 字,大约阅读时间需要 18 分钟。

 

  FME作为转换神器,支持几百种格式的互转,实现互操作化。从fme.exe执行方式入手,讨论Command命令式执行模板(.fmw/.fmwt)和脚本(.tcl/.py)实现自动化批量转换。

1、fme.exe命令分析

         一般打开CMD命令后直接输入fme可执行,系统环境变量已将FME按照目录加进去了。

图1 fme.exe命令

         从红圈看出FME本身执行也是靠fme.exe来执行ControlFile(控制文件)和ScriptFile(脚本文件)的。对于ControlFile可以利用FMEWorkBench来制作,对于ScriptFile有2种方式:FMEWorkBench和FMEQuickTranslator【这里是FME2014】来创建。

注:其他命令和参数设置这里不做详述。

2、批量自动化转换

(1)ScriptFile方式,.tcl控制内容,.bat执行

此处可在【FME Desktop Help】中 FME Workbench > Workspace Basics > Running and Debugging Workspaces > Running a Batch Translation找到相关内容。

FMEWorkBench在制作完.FMW后,可在File—BatchDeploy向导式部署导出BAT和TCL脚本,数据源选择可以使用增加数据源目录或多个文件。

 

图2 batch数据源设置

FMEQuickTranslator可以用Tools—CreateBatch来创建,数据源设置目录或文件与图2相同,设置原始数据格式和原始数据格式,再设置Batch导出。

 

图3 FMEQuickTranslator批量脚本

  生成后.bat文件就一行,fme开头执行.tcl文件。

  .tcl文件存储了基本的设置:工作空间、原始数据及格式、目标数据及格式,日志,相关转换等参数,可用记事本打开查看和随时改动,脚本方式执行.bat文件即可完成批量自动化转换。

(2)ControlFile方式,Process程序执行【fme.exe ControlFile PublishParams】

         此处可在【FME Desktop Help】中 FME Workbench > Workspace Basics > Running and Debugging Workspaces > Working with Command Files找到相关内容。

执行方式如下:

Fme.exe  [.fmw/.fmwt文件]  [对应发布参数]

Eg:

fme.exe  c:\temp\command.fmw

--SourceDataset_ACAD "\"\"C:\FMEData\Data\Water\distribution_L25.dwg\"   \"C:\FME Data\Data\Water\distribution_L26.dwg\"\""

--DestDataset_DGNV8 c:\temp\output.dgn

LOG_FILENAME  c:\fme.log

  可以看到关键在于发布参数的动态设置,一个完整的工作空间中有那么几个需要自定义的参数需要设置,UserParameter设置对应PromptAndRunTranslation(提示并运行转换)相关参数是对应的,而且用户发布参数决定着整个工作空间运行的情况。

 

图4 用户发布参数与转换参数对应

  程序执行批量自动化转换:一是提取FME核心和注册表相关来进行命令组合,类似于打开CMD后输入命令,不过是程序实现;二是自动提取FME用户发布参数,这个是核心,需要从.fmw中提取。

       这里仔细描述下用户发布参数提取方式,由于是从.fmw文件中提取的,记事本或写字板打开一个.fmw文件,搜索“DEFAULT_MACRO”,我们就可以找到用户发布参数显示的地方,如下例为1个【DestDataset_GEODATABASE_FILE】发布参数,后面加地址,GUI指出文件类型,而此“DEFAULT_MACRO”和“GUI”组成一个发布参数。

DEFAULT_MACRO   DestDataset_GEODATABASE_FILE E:\KSDE\test.gdb

GUI DEST_GEODATABASE   DestDataset_GEODATABASE_FILE Destination ESRI Geodatabase (File-based) File:

      那么如何利用程序从.fmw中提取出这些发布参数?

  分析:.fmw文件中针对“DEFAULT_MACRO”和“GUI”组合的内容有很多,只有前部分是用户发布参数,后部分是工作空间数据源、目标数据、转换器等的相关参数,区分标识在于标签:#! START_HEADER、#! END_HEADER,在此标签(当做XML标签)之间又有:

  #!  START_WB_HEADER、#!  END_WB_HEADER;

  #!  START_SOURCE_HEADER、#!  END_SOURCE_HEADER;

  #!  START_DEST_HEADER、#!  END_DEST_HEADER;

  利用XML形式表达层次为:

1 < START_HEADER>2     < START_SOURCE_HEADER>3     
4 < END_SOURCE_HEADER>5 < START_DEST_HEADER>6
7 < END_DEST_HEADER>8 < END_HEADER>

  由此可通过标签过滤得到用户发布参数,再通过“GUI”识别类型,通过换行符“\”和分隔符“ ”进行分割得到每个发布参数,最后程序实现读取发布参数。因此,可实现读取和存入数据,动态的执行.fmw,达到批量自动化数据转换。

  给出发布参数读取方法供参考,过程源于【参考1】:

  1)、通过标签进行过滤得到《用户发布参数》范围。

1 public List
GetParameters(string fmeFile) 2 { 3 List
list = new List
(); 4 XmlDocument document = null; 5 string str = null; 6 char[] trimChars = new char[] { '#', '!', ' ' }; 7 using (StreamReader reader = new StreamReader(fmeFile, Encoding.Default)) 8 { 9 StringBuilder builder = new StringBuilder();10 while (!reader.EndOfStream)11 {12 str = reader.ReadLine().Trim();13 if (str.StartsWith(Resource.StringFMWXmlPrefix))14 {15 if (str == Resource.StringFMWXmlPrefix)16 {17 break;18 }19 builder.Append(string.Format("{0} ", str.TrimStart(trimChars)));20 }21 }22 document = new XmlDocument();23 try24 {25 document.LoadXml(builder.ToString());26 }27 catch (Exception)28 {29 document = null;30 }31 }32 if (document != null)33 {34 foreach (XmlNode node2 in document.SelectSingleNode(Resource.StringFMWParameterPath))35 {36 FMEParameter item = this.GetParameter(node2);37 if (string.IsNullOrEmpty(item.Name))38 {39 Trace.WriteLine(node2.Attributes[Resource.StringFMWParameterDefaultValue].Value);40 }41 else42 {43 list.Add(item);44 }45 }46 }47 return list;48 }
View Code

         2)、《用户发布参数》范围解析,得到FME发布参数

1 private FMEParameter GetParameter(XmlNode node) 2 { 3    FMEParameter parameter = new FMEParameter { 4        DefaultValue = node.Attributes[Resource.StringFMWParameterDefaultValue].Value 5    }; 6    string input = node.Attributes[Resource.StringFMWParameterInfo].Value; 7    parameter.Optional = Regex.IsMatch(input, @"GUI\s+OPTIONAL\s+", RegexOptions.IgnoreCase); 8    parameter.Published = !Regex.IsMatch(input, @"GUI\s+OPTIONAL\s+IGNORE\s+|GUI\s+IGNORE\s+", RegexOptions.IgnoreCase); 9    input = Regex.Split(input, @"GUI\s+OPTIONAL\s+IGNORE\s+(.+)|GUI\s+IGNORE\s+(.+)|GUI\s+OPTIONAL\s+(.+)|GUI\s+(.+)", RegexOptions.IgnoreCase)[1];10    string[] strArray = Regex.Split(input, @"([^\s]+)\s+([^\s]+)\s+(.+)", RegexOptions.IgnoreCase);11    parameter.Type = strArray[1];12    parameter.Name = strArray[2];13    if (this.hasConfiguration(parameter.Type))14    {15        strArray = this.SplitConfigurationPrompt(strArray[3]);16        parameter.Configuration = strArray[0];17        parameter.Label = strArray[1];18        return parameter;19    }20    parameter.Label = strArray[3];21    parameter.Configuration = string.Empty;22    return parameter;23 }
View Code

 

  总结:通过fme.exe命令执行方式探讨了2种批量自动化数据转换方法,详细论述了具体实现过程和关键技术点,提供相关参考。

  另:有【  】,通过DOS命令,自定义设置FME模板、数据源路经、目标数据路径、以及日志等信息,基本也属于命令执行范畴。

  【引用已说明出处,转载请说明出处。】

 

  参考:

  [1] .安图163博客,2014.5 

 

转载于:https://www.cnblogs.com/ajg016/p/3767893.html

你可能感兴趣的文章
使用WSAIoctl获取AcceptEx函数指针 [转]
查看>>
【图论补完计划】poj 3613(Floyd 快速幂)
查看>>
JAX-RS -- Java API for RESTful Web Services
查看>>
Android Handler消息传递机制
查看>>
[BZOJ1572] WorkScheduling
查看>>
Struts2学习笔记1--Struts2简介
查看>>
Redis面试总结
查看>>
CSS3 2D转换
查看>>
sed详解
查看>>
tar 命令
查看>>
Linux rpm命令
查看>>
Lock wait timeout exceeded; try restarting transaction linux设置mysql innodb_lock_wait_timeout
查看>>
提取网页正文的开源库的比较
查看>>
C++0x FAQ中文版
查看>>
Hibernate @Temporal的使用
查看>>
字符串函数集
查看>>
基于visual Studio2013解决算法导论之021单向循环链表
查看>>
node 命令
查看>>
Nginx、Tomcat和Redis配置文件说明
查看>>
逃离迷宫
查看>>