上一页


第十一章_DNA_ETL与元基索引ETL中文脚本编译机.
作者: 罗瑶光, Author:Yaoguang.Luo

知识来源 作者具备了第1-10章的作品基础,于是尝试基于元基编码进行文件名索引,基于数据库的Deta PLSQL编译机进行PLETL编译,作者这里要感谢作者12年义务教育,8年的学历教育和 7年工作经验,作者有足够的能力,独立解决各种未知问题,和详细的笔记能力,将研发中所有问题进行详细的文字,图片,语音,视频记录备份归纳. 作者的笔记思维得益于2007年之后的阅读曾国藩家书.

ETL元基编码方式

1 DNA_ETL的编码继承了德塔数据库的语言编译机. refer page 413, 788

2 DNA_ETL的编码字符串可以自由设计, 如中文描述. refer page 834, 835

3 DNA_ETL的编码行可以集成在节点中 etl单个 执行. refer page 782

4 DNA_ETL的编码可以拆卸成节点模式单行进行 etl流 执行. refer page 784

PLETL语言

1 PLETL语言 继承了德塔数据库的语言编译机语言. refer page 377, 786

2 PLETL语言 扩展了德塔数据库的语言编译机语言, 如TCP, REGEX 应用等. refer page 784

3 PLETL语言 支持多语种 命令设计. refer page 789, 790

PLETL 与Tinshell的编译计算逻辑图文字描述.

如上图所示,作者的PLETL编译机是根据Deta PLSQL 编译机进行二次编码研发的,逻辑比较直白,通过输入脚本指令,然后进行分号段落符号划分,依次处理关键字,然后将关键字的计算指令进行冒号划分,指令依次处理关键中的主谓宾关系进行Function call,这里有用的VPCS的调度思想,见作者早期的VPCS Paper. 主谓宾关系中出现的变量和计算指令中的计算符号,等用or位运算符号分隔,在Function Call中进行变量计算. 最后计算的结果通过map进行整理,然后输出反馈.

Implements of PLETL and Tinshell's logical compiler-graph.

Above picture for PLETL, the author according to a Deta PLSQL compiler of where did a secondary development. Did a Tinshell script input and grammar parserment, then did a key word recognition with ':'-symbolic calculations. Function call a SVO grammar step with VPCS theroy and 'and-or' conditions. After functions call then responsed the result, according to a memory map.

The author YaoguangLuo 稍后优化语法.

4 PLETL语言 节点流编译机 可模拟神经网络语言 做计算需求. refer page 783

Tinshell

1 Tinshell是封装在 PLETL语言下的基础组件. refer page 860, 877

2 基础组件体现在 脚本的编译和执行. refer page 786

3 Tinshell 采用 德塔数据库的语言编译机 进行改装. refer page 788~835

4 Tinshell 主要用于脚本语言的输入和 计算输出 的 IO计算. refer page 782

Tinshell指令集 已有中文命令分类 如下

操作; 条件为; 获取表名; 获取表列名; 进行分词; 词性标注; 词性显色; DNN; 颜色标记为; 红色; 蓝色; 黄色; 绿色; 进行字符排序; 进行数字排序; 从小到大; 从大到小; 行至; 包含; 改名为; 过滤掉; 不包含; 进行选择; 精度搜索 ;

PLETL; 中节点; 进行表格相交; 进行表格合并; 进行表格剔除; 主码为; ID; 模式为; 相交部分剔除; 新增列; 叠加列 ;有交集叠加列; 有交集新增列; 无交集新增列; 其他非中文命令见 德塔 PLSQL 文档

PLTCP; 进行 WEB 请求; 接口为; 端口为; 操作为; 语法为 -; 一个 shell 句型分隔 - : 一个 shell 函数分隔 - | 一个 shell 对象分隔 -

PLETL and Tinshell

DNA ETL

1 DNA ETL inherited a Deta PLSQL compiler. 2 And its programmable alpha-betic encodings could be built by Chinese. 3 and 4 These Chinese programming could save the program section into an ETL node as a row-line-store or full-section-store with a TinShell node.

PLETL

1 PLETL inherited a theroy of Deta PLSQL commands. 2 And now included more Tinshell extensions such as PL-TCP and PL-REGEX or 3 more multi-languages support. 4 The author will use It to simulate topological nero-computings with ETL pipe flows.

Tinshell

1 Tinshell could be built by under a foundamental component with PLETL. 2 The foundament meant a compiler and excution with Tinshell Script. 3 The author did an updating of Deta PLSQL with Tinshell. 4 In order to use It to simulate an I/O input and output. The Tinshell commands as below

'操作' operation; '条件为' condition; '获取表名' get spects; '获取表列名' get columns; '进行分词' segmentations; '词性标注' POS annotations; '词性显色' POS colors; DNN; '颜色标记'为 color targets; '红色' red; '蓝色' blue; '黄色' yellow; '绿色' green; '进行字符排序' sort by chars; '进行数字排序' sort by numbers; '从小到大' increment; '从大到小' decrement; '行至' lined to; '包含' contains; '改名为' name change; '过滤掉' filter; '不包含' does not contains; '进行选择' choice; '精度搜索' scale-search;

PLETL; '中节点' nodes input; '进行表格相交' table adjacency or adjunction; '进行表格合并' table merges or conjunction; '进行表格剔除' table delete; '主码为' primary key; ID; '模式为' mode of; '相交部分剔除' parts delete of adjacency or adjunction; '新增列' new columns; '叠加列' column overlaps; '有交集叠加列' adjacent or joined columns overlap; '有交集新增列' adjacent or joined column creation; '无交集新增列' non-adjacent or disjoined columns creation; Others see the Deta PLSQL document.

PLTCP;'进行 WEB 请求' web request; '接口为' interface port; '端口为' port endpoint; '操作为' procedure as;

'语法为' Its grammar as -symbol of ';', '一个 shell 句型分隔' - parser a shell sentence-isolation from each section. Symbol of ':', '一个 shell 函数分隔' - parser a shell function-isolation from each sentence. Symbol of '|', '一个 shell 对象分隔' - parser a shell object-isolation from each function.

2 组合方式示例

2. 1 完整句型

获取表名:中药同源:进行选择;

条件为:和:功效|精度搜索|风热咳嗽|0;5

条件为:和:中药名称|字符串长度大于|3;

条件为:或:功效|包含|清热解毒:功效|包含|利尿;

条件为:和:性味|不包含|温:脉络|包含|肺;

条件为:和:风险规避|过滤掉|毒:风险规避|过滤掉|孕;

获取表列名:功效:风险规避|改名为|风险:脉络:性味:中药名称|改名为|药名;

操作:0|行至|20;

操作:风险|颜色标记为|黄色;

操作:药名|颜色标记为|红色;

操作:功效|进行分词|DNN;

2. 2 流句型 完整测试指令如下:

节点 1

获取表名:中医诊断:进行选择;

条件为:和:笔记|包含|发热:笔记|包含|身重;

获取表列名 ID 病症;

操作:0|行至|30;

节点 1->2

操作:病症|进行分词|词性显色;

节点 1->3

操作:病症|进行分词|DNN;

节点((1->2)+(1->3))->4

PLETL:中节点|进行表格合并|主码为|ID|模式为|新增列;

操作:ID|进行数字排序|从小到大;

操作:ID|颜色标记为|红色;

2. 3 流并发句型

节点((1->2)+(1->3))->4

PLETL:中节点|进行表格合并|主码为|ID|模式为|新增列;

操作:ID|进行数字排序|从小到大;

操作:ID|颜色标记为|红色;

软件执行逻辑

1 PLSEARCH 包含可编程搜索命令 概念作者首发

将 德塔 PLSQL 中非 join table 的命令拿出来 优化成适用于 内存计算的命令.

2 PLETL 包含可编程节点流操作 概念作者首发

将 ETL 的节点流配置执行界面设计成

命令如下

PLETL:中节点|进行表格相交|主码为|ID|模式为|新增列;

PLETL:中节点|进行表格相交|主码为|ID|模式为|叠加列;

PLETL:中节点|进行表格相交|主码为|ID|模式为|有交集叠加列;

PLETL:中节点|进行表格相交|主码为|ID|模式为|有交集新增列;

PLETL:中节点|进行表格相交|主码为|ID|模式为|无交集新增列;

PLETL:中节点|进行表格剔除|主码为|ID|模式为|相交部分剔除;

PLETL:中节点|进行表格合并|主码为|ID|模式为|新增列;

PLETL:中节点|进行表格合并|主码为|ID|模式为|叠加列;

PLETL:中节点|进行表格合并|主码为|ID|模式为|有交集叠加列;

PLETL:中节点|进行表格合并|主码为|ID|模式为|有交集新增列;

PLETL:中节点|进行表格合并|主码为|ID|模式为|无交集新增列;

3 PLTCP 包含可编程网络请求 概念作者首发

4 PLSQL 可编程数据库操作 概念美国甲骨文公司首发

5 Tin Map ETL 节点 与 Tin Shell 编译机指令执行 的逻辑原理图

编译机的进化

1 德塔编译机, 最早取自 德塔socket流可编程数据库系统的 plsql编译机. refer page 377

2 德塔编译机在设计tinshell的时候从数据库中分出来做脚本编码编译机. refer page 786

3 德塔编译机在脚本编码中开始扩展, 如和etl结合, 和tcp结合等. refer page 783

4 德塔编译机在肽化索引后, 将用于神经元 etl节点网络计算中枢模拟. refer page 783, 784

OSGI 插件的肽化方式

1 osgi插件最早作者设计为了 将节点进行像knime那样 导入. 但一直没有实现, 只是继承而已. refer page

2 作者2017年5月 在洛杉矶与 印度的 印佛西思 2个月的电话+citrix经理面试时候, 被频繁询问classloader技术. 于是笔记.

refer page 291 Class(?) myclass= loader.loadClass, 作者的最早classloader思维不是来自cnblogs chinaxin.

3 作者2019年开始尝试并真正的 classloader jar实现 节点插件化. refer page 781

4 最近开始肽化索引, 用于 classloader识别标记与节点文件分类. refer page 781

神经元计算模拟 应用

1 DNA_ETL的 神经元计算 是一种有向 节点拓扑计算. refer page 786

2 DNA_ETL的神经元计算中节点是一个载体单位, 不再是计算单位. refer page 782

3 DNA_ETL的计算单位是单一一句tinshell 命令. refer page 783

4 DNA_ETL的tinshell命令可一句 或者 多句 载入 一个 和 多个节点中. refer page 784