1 files changed, 142 insertions, 0 deletions
diff --git a/src/Python3Parser.tokens b/src/Python3Parser.tokens
new file mode 100644
index 0000000..0f817cc
--- /dev/null
+++ b/src/Python3Parser.tokens
@@ -0,0 +1,142 @@
+INDENT=1
+DEDENT=2
+STRING=3
+NUMBER=4
+AND=5
+AS=6
+DEF=7
+ELIF=8
+ELSE=9
+FALSE=10
+FOR=11
+FROM=12
+IF=13
+IMPORT=14
+IN=15
+IS=16
+NONE=17
+NOT=18
+OR=19
+RETURN=20
+TRUE=21
+UNDERSCORE=22
+WHILE=23
+NEWLINE=24
+NAME=25
+DECIMAL_INTEGER=26
+FLOAT_NUMBER=27
+DOT=28
+ELLIPSIS=29
+STAR=30
+OPEN_PAREN=31
+CLOSE_PAREN=32
+COMMA=33
+COLON=34
+SEMI_COLON=35
+POWER=36
+ASSIGN=37
+OPEN_BRACK=38
+CLOSE_BRACK=39
+OR_OP=40
+XOR=41
+AND_OP=42
+LEFT_SHIFT=43
+RIGHT_SHIFT=44
+ADD=45
+MINUS=46
+DIV=47
+MOD=48
+IDIV=49
+NOT_OP=50
+OPEN_BRACE=51
+CLOSE_BRACE=52
+LESS_THAN=53
+GREATER_THAN=54
+EQUALS=55
+GT_EQ=56
+LT_EQ=57
+NOT_EQ_1=58
+NOT_EQ_2=59
+AT=60
+ARROW=61
+ADD_ASSIGN=62
+SUB_ASSIGN=63
+MULT_ASSIGN=64
+AT_ASSIGN=65
+DIV_ASSIGN=66
+MOD_ASSIGN=67
+AND_ASSIGN=68
+OR_ASSIGN=69
+XOR_ASSIGN=70
+LEFT_SHIFT_ASSIGN=71
+RIGHT_SHIFT_ASSIGN=72
+POWER_ASSIGN=73
+IDIV_ASSIGN=74
+SKIP_=75
+UNKNOWN_CHAR=76
+'and'=5
+'as'=6
+'def'=7
+'elif'=8
+'else'=9
+'False'=10
+'for'=11
+'from'=12
+'if'=13
+'import'=14
+'in'=15
+'is'=16
+'None'=17
+'not'=18
+'or'=19
+'return'=20
+'True'=21
+'_'=22
+'while'=23
+'.'=28
+'...'=29
+'*'=30
+'('=31
+')'=32
+','=33
+':'=34
+';'=35
+'**'=36
+'='=37
+'['=38
+']'=39
+'|'=40
+'^'=41
+'&'=42
+'<<'=43
+'>>'=44
+'+'=45
+'-'=46
+'/'=47
+'%'=48
+'//'=49
+'~'=50
+'{'=51
+'}'=52
+'<'=53
+'>'=54
+'=='=55
+'>='=56
+'<='=57
+'<>'=58
+'!='=59
+'@'=60
+'->'=61
+'+='=62
+'-='=63
+'*='=64
+'@='=65
+'/='=66
+'%='=67
+'&='=68
+'|='=69
+'^='=70
+'<<='=71
+'>>='=72
+'**='=73
+'//='=74