中吴南顾惟一笑

成功法则就是那19个字

日志

关于我

guyot

文章分类

[转]ANTLR lexical analysis的一些概念

2010-06-09 09:41:00| 分类： R&D | 标签： |举报 |字号大中小订阅

下载LOFTER 我的照片书 |

1. Context-Free Grammar:
a).终结符集合
b).非终结符集合
c).产生式集合，产生式左部为一个非终结符，右部为终结符或非终结符序列
d).一个初始状态

2. Parse Tree(Concrete Syntax Tree)/Abstract Syntax Tree(AST)
分析树也称为具体树，抽象语法树不包含具体的文法信息（或形式）

3. Syntax-Directed Translation
Syntax-Directed: 文法符号与一个属性集合关联，产生式与一个语义规则集合关联，文法符号（属性集合）和语义规则集合构成Syntax-Directed定义

4. Nondeterministic finite automata NFA
a). 一个状态的有穷集合S
b). 一个输入符号集合Σ
c). 一个转换函数move，把状态和符号组成的二元组映射到状态集合
d). 状态s0是唯一的初始状态
e). 状态集合F是终止状态集合

5. Deterministic finite automata DFA
DFA是NFA的特例，DFA在任何状态下，对任一输入符号最多只有一个转换
a). 没有一个状态具有ε转换
b). 对每个状态s和输入符号a，最多只有一条标记为a的边离开s

Token与Lexeme区别: Token相当于类型，lexeme相当于不同的实例。例如token为relation，lexeme可能包括<, >, <>, <=, >=等

很多例子中，都是直接在语法文件中嵌入处理代码，这种方式ANTLR称为嵌入式动作(embeded action)。
复杂情况下，需要基于语法树遍历(walking the tree)生成目标代码。embeded action将处理代码跟语法描述混合起来，语法复杂时使语法文件臃肿。另外语法可能经常需要修改，但语法的主要表达式不会变动，将语法识别与转换、生成 (目标代码)等处理分离是有好处的。
所以产生以下概念:
识别(recognize): 前面讲的由语法描述文件生成的词法分析器、语法分析器代码，就是语法识别器(recognizer)。它接受原始输入字符流(类似源代码)，进行分析，得到抽象语法树AST。
转换(translate): 我们可以编写一个转换器(translator, tree walker)，使用AST作为输入，进行计算处理，或生成目标代码等操作。

http://www.antlr.org/grammar/list中有sql和asn的.g

评论这张

转发至微博

阅读(415)| 评论(0)

历史上的今天

this.p={  m:2,
              b:2,
              loftPermalink:'',
              id:'fks_080075093082085069092095094095085084081070083082086065085',
              blogTitle:'[转]ANTLR lexical analysis的一些概念',
              blogAbstract:'1. Context-Free Grammar: <br\>a).终结符集合<br\>b).非终结符集合<br\>c).产生式集合，产生式左部为一个非终结符，右部为终结符或非终结符序列<br\>d).一个初始状态<br\><br\>2. Parse Tree(Concrete Syntax Tree)/Abstract Syntax Tree(AST)<br\>分析树也称为具体树，抽象语法树不包含具体的文法信息（或形式）<br\><br\>3. Syntax-Directed Translation<br\>Syntax-Directed: 文法符号与一个属性集合关联，产生式与一个语义规则集合关联，文法符号（属性集合）和语义规则集合构成Syntax-Directed定义<br\><br\>4. Nondeterministic finite automata NFA<br\>a). 一个状态的有穷集合S<br\>b). 一个输入符号集合Σ',
              blogTag:'',
              blogUrl:'blog/static/1205740212010599410907',
              isPublished:1,
              istop:false,
              type:0,
              modifyTime:1276047687647,
              publishTime:1276047660907,
              permalink:'blog/static/1205740212010599410907',
              commentCount:0,
              mainCommentCount:0,
              recommendCount:0,
              bsrk:-100,
              publisherId:0,
              recomBlogHome:false,
              currentRecomBlog:false,
              attachmentsFileIds:[],
              vote:{},
              groupInfo:{},
              friendstatus:'none',
              followstatus:'unFollow',
              pubSucc:'',
              visitorProvince:'',
              visitorCity:'',
              visitorNewUser:false,
              postAddInfo:{},
              mset:'000',
              mcon:'',
              srk:-100,
              remindgoodnightblog:false,
              isBlackVisitor:false,
              isShowYodaoAd:false,
              hostIntro:'',
              hmcon:'0',
              selfRecomBlogCount:'0',
              lofter_single:'<iframe width="140" height="560" style="overflow:hidden;" src="http://www.lofter.com/mailEntry.do?blogad=1&blog" frameBorder="0"></iframe>'
            }

{list a as x}
    {if !!x}
    <div class="iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
      {if x.visitorName==visitor.userName}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        {if x.moveFrom=='wap'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/wapblog.html?frompersonalbloghome"><span title="来自网易手机博客" class="iblock wapIcon"> </span></a>
        {elseif x.moveFrom=='iphone'}
          <a class="noul pnt" target="_blank"><span title="来自iPhone客户端" class="iblock iphoneIcon"> </span></a>
        {elseif x.moveFrom=='android'}
          <a class="noul pnt" target="_blank"><span title="来自Android客户端" class="iblock androidIcon"> </span></a>
        {elseif x.moveFrom=='mobile'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/emsblog.html?frompersonalbloghome"><span title="来自网易短信写博" class="iblock wapIcon"> </span></a>
        {/if}
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
          ${fn(x.visitorNickname,8)|escape}
        </a>
      </div>
    </div>
    {/if}
    {/list}

<#--最新日志，群博日志--> <#--推荐日志-->

<p class="fc06">推荐过这篇日志的人：</p>
    <div>
      {list a as x}
      {if !!x}
      <div class="iblock nbw-fce nbw-f40">
        <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
        <img alt="${x.recommenderNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.recommenderName)}"/>
        </a>
        <div class="cwd thide">
          <a class="fc03 m2a" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
            ${fn(x.recommenderNickname,6)|escape}
          </a>
        </div>
      </div>
      {/if}
      {/list}
    </div>
    {if !!b&&b.length>0}
    <p  class="fc06">他们还推荐了：</p>
    <ul>
    {list b as y}
      {if !!y}
        <li class="rrb"><span class="iblock">·</span><a class="fc03 m2a" target="_blank" href="http://blog.163.com/${y.recommendBlogPermalink}/?from=blog/static/1205740212010599410907">${y.recommendBlogTitle|escape}</a></li>
      {/if}
    {/list}
    </ul>
    {/if}

<#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 -->

{list a as x}
    {if !!x}
    <div class="hotItem iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
      {if x.publisherUsername==visitor.userName}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
          ${fn(x.publisherNickname,8)|escape}
        </a>
      </div>
      <a class="f-myLikeIcons hottype {if x.type==1} js-liketype{elseif x.type==2} js-reblogtype{elseif x.type==3} js-sharetype{else}{/if}" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/"> </a>
    </div>
    {/if}
    {/list}

<#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->

页脚

我的照片书 - 手机博客 - 下载LOFTER APP - 订阅此博客

中吴南顾惟一笑

导航

日志

[转]ANTLR lexical analysis的一些概念

历史上的今天

最近读者

热度

评论

页脚