https://wiki.kram.nz/index.php?action=history&feed=atom&title=SE250%3Alab-9%3Arwan064%3Atokenise.h 2026-09-20T08:42:05Z Revision history for this page on the wiki MediaWiki 1.46.0 https://wiki.kram.nz/index.php?title=SE250:lab-9:rwan064:tokenise.h&diff=8702&oldid=prev 2008-11-03T05:20:39Z

<p>3 revision(s)</p> <p><b>New page</b></p><div>[[SE250:lab-9:rwan064|Back to Lab Report]]<br /> <br /> &lt;html&gt;<br /> &lt;head&gt;<br /> &lt;title&gt;tokenise.h&lt;/title&gt;<br /> &lt;/head&gt;<br /> &lt;body bgcolor=&quot;#ffffff&quot; text=&quot;#000000&quot;&gt;<br /> &lt;pre&gt;<br /> &lt;a name=&quot;line1&quot;&gt; 1&lt;/a&gt; &lt;font color=&quot;#444444&quot;&gt;/*<br /> &lt;a name=&quot;line2&quot;&gt; 2&lt;/a&gt; File: tokenise.h<br /> &lt;a name=&quot;line3&quot;&gt; 3&lt;/a&gt; Purpose: Header file for Tokeniser for SE250 Lab 9.<br /> <br /> &lt;a name=&quot;line4&quot;&gt; 4&lt;/a&gt; Author: Rajitha Wannigama, John Hamer<br /> &lt;a name=&quot;line5&quot;&gt; 5&lt;/a&gt; */&lt;/font&gt;<br /> &lt;a name=&quot;line6&quot;&gt; 6&lt;/a&gt; <br /> &lt;a name=&quot;line7&quot;&gt; 7&lt;/a&gt; &lt;font color=&quot;0000ff&quot;&gt;&lt;strong&gt;#include &lt;font color=&quot;#008000&quot;&gt;&amp;lt;stdio.h&amp;gt;&lt;/font&gt;&lt;/strong&gt;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line8&quot;&gt; 8&lt;/a&gt; <br /> &lt;a name=&quot;line9&quot;&gt; 9&lt;/a&gt; &lt;strong&gt;typedef&lt;/strong&gt; &lt;strong&gt;enum&lt;/strong&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;{&lt;/strong&gt;&lt;/font&gt;<br /> &lt;a name=&quot;line10&quot;&gt;10&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;T_SYMBOL&lt;/font&gt;,<br /> &lt;a name=&quot;line11&quot;&gt;11&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;T_IDENT&lt;/font&gt;,<br /> <br /> &lt;a name=&quot;line12&quot;&gt;12&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;T_INTEGER&lt;/font&gt;,<br /> &lt;a name=&quot;line13&quot;&gt;13&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;T_FLOAT&lt;/font&gt;,<br /> &lt;a name=&quot;line14&quot;&gt;14&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;T_STRING&lt;/font&gt;,<br /> &lt;a name=&quot;line15&quot;&gt;15&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;T_END&lt;/font&gt;,<br /> &lt;a name=&quot;line16&quot;&gt;16&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;T_NOTHING&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line17&quot;&gt;17&lt;/a&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;}&lt;/strong&gt;&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;token_t&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line18&quot;&gt;18&lt;/a&gt; <br /> &lt;a name=&quot;line19&quot;&gt;19&lt;/a&gt; &lt;strong&gt;typedef&lt;/strong&gt; &lt;strong&gt;struct&lt;/strong&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;{&lt;/strong&gt;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line20&quot;&gt;20&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;token_t&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;type&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line21&quot;&gt;21&lt;/a&gt; &lt;strong&gt;union&lt;/strong&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;{&lt;/strong&gt;&lt;/font&gt;<br /> &lt;a name=&quot;line22&quot;&gt;22&lt;/a&gt; &lt;strong&gt;int&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;symval&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line23&quot;&gt;23&lt;/a&gt; &lt;strong&gt;char&lt;/strong&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;strval&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line24&quot;&gt;24&lt;/a&gt; &lt;strong&gt;int&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;intval&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line25&quot;&gt;25&lt;/a&gt; &lt;strong&gt;double&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;fltval&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line26&quot;&gt;26&lt;/a&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;}&lt;/strong&gt;&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;val&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line27&quot;&gt;27&lt;/a&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;}&lt;/strong&gt;&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line28&quot;&gt;28&lt;/a&gt; <br /> &lt;a name=&quot;line29&quot;&gt;29&lt;/a&gt; &lt;strong&gt;typedef&lt;/strong&gt; &lt;strong&gt;struct&lt;/strong&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;{&lt;/strong&gt;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line30&quot;&gt;30&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;current&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line31&quot;&gt;31&lt;/a&gt; &lt;strong&gt;int&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;pos&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line32&quot;&gt;32&lt;/a&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;}&lt;/strong&gt;&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TokenStream&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line33&quot;&gt;33&lt;/a&gt; <br /> &lt;a name=&quot;line34&quot;&gt;34&lt;/a&gt; <br /> &lt;a name=&quot;line35&quot;&gt;35&lt;/a&gt; &lt;font color=&quot;0000ff&quot;&gt;&lt;strong&gt;#ifndef TOKENISE_H&lt;/strong&gt;&lt;/font&gt;<br /> &lt;a name=&quot;line36&quot;&gt;36&lt;/a&gt; &lt;font color=&quot;0000ff&quot;&gt;&lt;strong&gt;#define TOKENISE_H&lt;/strong&gt;&lt;/font&gt;<br /> &lt;a name=&quot;line37&quot;&gt;37&lt;/a&gt; <br /> &lt;a name=&quot;line38&quot;&gt;38&lt;/a&gt; &lt;strong&gt;typedef&lt;/strong&gt; &lt;strong&gt;enum&lt;/strong&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;{&lt;/strong&gt;&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;false&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;=&lt;/font&gt; &lt;font color=&quot;#FF0000&quot;&gt;0&lt;/font&gt;, &lt;font color=&quot;#2040a0&quot;&gt;true&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;=&lt;/font&gt; &lt;font color=&quot;#FF0000&quot;&gt;1&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;&lt;strong&gt;}&lt;/strong&gt;&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;bool&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line39&quot;&gt;39&lt;/a&gt; <br /> &lt;a name=&quot;line40&quot;&gt;40&lt;/a&gt; <br /> &lt;a name=&quot;line41&quot;&gt;41&lt;/a&gt; &lt;font color=&quot;#444444&quot;&gt;/* The tokeniser interface */&lt;/font&gt;<br /> &lt;a name=&quot;line42&quot;&gt;42&lt;/a&gt; &lt;strong&gt;void&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;init_TokenStream&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TokenStream&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt;, &lt;strong&gt;char&lt;/strong&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line43&quot;&gt;43&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;bool&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;eqToken&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt;, &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line44&quot;&gt;44&lt;/a&gt; &lt;strong&gt;void&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;print_token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line45&quot;&gt;45&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;current&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TokenStream&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line46&quot;&gt;46&lt;/a&gt; &lt;strong&gt;void&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;advance&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TokenStream&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line47&quot;&gt;47&lt;/a&gt; &lt;strong&gt;void&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;expect&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TokenStream&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt;, &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line48&quot;&gt;48&lt;/a&gt; &lt;strong&gt;void&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;error&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;strong&gt;char&lt;/strong&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;fmt&lt;/font&gt;, ... &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line49&quot;&gt;49&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;bool&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;isVariable&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line50&quot;&gt;50&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;bool&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;isConstant&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line51&quot;&gt;51&lt;/a&gt; &lt;font color=&quot;#2040a0&quot;&gt;bool&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;end_of_tokens&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TokenStream&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;*&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line52&quot;&gt;52&lt;/a&gt; <br /> &lt;a name=&quot;line53&quot;&gt;53&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_ADD&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line54&quot;&gt;54&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_ASSIGN&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line55&quot;&gt;55&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_CLOSEBRACE&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line56&quot;&gt;56&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_DIV&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line57&quot;&gt;57&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_DO&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line58&quot;&gt;58&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_ELSE&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line59&quot;&gt;59&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_EQ&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line60&quot;&gt;60&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_ERROR&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line61&quot;&gt;61&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_IF&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line62&quot;&gt;62&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_MUL&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line63&quot;&gt;63&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_NOT&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line64&quot;&gt;64&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_OPENBRACE&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line65&quot;&gt;65&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_PCLOSE&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line66&quot;&gt;66&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_POPEN&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line67&quot;&gt;67&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_PRINT&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line68&quot;&gt;68&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_SEMICOLON&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line69&quot;&gt;69&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_SKIP&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line70&quot;&gt;70&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_SUB&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line71&quot;&gt;71&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_THEN&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line72&quot;&gt;72&lt;/a&gt; &lt;strong&gt;extern&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;Token&lt;/font&gt; &lt;font color=&quot;#2040a0&quot;&gt;TOK_WHILE&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> &lt;a name=&quot;line73&quot;&gt;73&lt;/a&gt; <br /> &lt;a name=&quot;line74&quot;&gt;74&lt;/a&gt; &lt;strong&gt;void&lt;/strong&gt; &lt;font color=&quot;#2040a0&quot;&gt;init_predefined_tokens&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;(&lt;/font&gt; &lt;font color=&quot;4444FF&quot;&gt;)&lt;/font&gt;&lt;font color=&quot;4444FF&quot;&gt;;&lt;/font&gt;<br /> <br /> &lt;a name=&quot;line75&quot;&gt;75&lt;/a&gt; <br /> &lt;a name=&quot;line76&quot;&gt;76&lt;/a&gt; &lt;font color=&quot;0000ff&quot;&gt;&lt;strong&gt;#endif&lt;/strong&gt;&lt;/font&gt;<br /> <br /> &lt;/pre&gt;<br /> &lt;hr&gt;<br /> syntax highlighted by &lt;a href=&quot;http://www.palfrader.org/code2html&quot;&gt;Code2HTML&lt;/a&gt;, v. 0.9.1<br /> &lt;/body&gt;<br /> &lt;/html&gt;</div>

Mark