a
    yn„f„  ã                   @  sN   d dl mZ d dlZd dlZd dlZd dlZG dd„ deƒZ	G dd„ dƒZ
dS )é    )ÚannotationsNc                   @  s   e Zd ZdS )Ú_ReachedEndofArrayErrorN)Ú__name__Ú
__module__Ú__qualname__© r   r   úX/home/yuhw/wc/wire-cell-python/wcpy/lib/python3.9/site-packages/awkward/_connect/avro.pyr      s   r   c                   @  sV   e Zd Zddd„Zdd„ Zdd„ Zdd	„ Zd
d„ Zdd„ Zdd„ Z	dd„ Z
dd„ ZdS )Ú
ReadAvroFTFc              
   C  sü  || _ d| _d| _d| _d}tƒ | _i | _z–|  j| j  |¡7  _|  ¡ sRt	dƒ‚d}|  
d| j¡\}| _|  | j¡| _| jdk r°|  
|| j¡\}| _|  | j¡| _t| jƒ| _|  |¡}W qÞW q* tyÚ   |d9 }Y q*0 q*d}|  |¡ g }dg}d}	|  | jd	 ||dg g |i ¡\| _| _| _}
}}}d
}| d¡ |  d¡ |	d |
¡ }	d |¡}| dd¡ | d¡ d |¡}d|	› d|› d|› �}|�r t|ƒ tj |¡}d}z:|  ¡ \}}}| j  |¡}t|ƒ|k �rÞt‚|  |¡ W n t�y   Y �qÎY n0 |d u�rF| j|k�rFt| j| ƒ}|  j|8  _||8 }d
}n |�rˆ|  dt!j"|t!j#d�i¡ | $|¡ | %d¡ | &¡  d}n.| 'dt!j"|t!j#d�id
¡ | $|¡ | &¡  |  d¡ |�r°�qÎ�q°|D ]}| (|¡||< �qÒ| j| j|f| _)d S )Nr   Fi   z0invalid Avro file: first 4 bytes are not b'Obj'é   é   z: init-out
zinput stream 
zavro.schemaTz;
é   Ú z0 do 
z
loopz
                z
                    Ústream©Údtypezinit-outé   )*ÚdataÚblocksÚmarkerÚis_primitiveÚ	bytearrayÚtemp_headerÚmetadataÚreadÚcheck_validÚ	TypeErrorÚdecode_varintÚpairsÚdecode_zigzagÚheader_sizeÚabsÚ	cont_specr   Ú
update_posÚrec_exp_json_codeÚformÚ	exec_codeÚform_next_idÚappendÚjoinÚinsertÚprintÚawkwardÚforthZForthMachine64Údecode_blockÚlenÚintÚbeginÚnpZ
frombufferÚuint8Z
stack_pushÚcallÚresumeZbegin_againÚoutputZoutcontents)ÚselfÚfileZlimit_entriesZdebug_forthÚnumbytesÚposÚindr%   Ú	init_codeZheader_codeÚdeclarationsÚ	form_keysÚ	containerZ
first_iterZ
forth_codeÚmachineÚ
break_flagÚ	num_itemsZ	len_blockÚ	temp_dataZ	temp_diffÚelemr   r   r   Ú__init__   s²    ÿ



ÿø




ÿþý

ÿ

zReadAvroFT.__init__c                 C  s    |  j |7  _ | j | j ¡ d S )N)r   r   Úseek)r6   r9   r   r   r   r"   |   s    zReadAvroFT.update_posc                 C  s|   | j  d¡}|  d|¡\}}|  |¡}|  |¡ |  jt|ƒ7  _| j  d¡}|  d|¡\}}|  |¡}|  |¡ |||fS )Né
   r   )r   r   r   r   r"   r   r/   )r6   rB   r9   ÚinfoZinfo1Zinfo2r   r   r   r-   €   s    



zReadAvroFT.decode_blockc                 C  sð   d}|| j k rì|  || j¡\}}|  |¡}| j||t|ƒ … }|t|ƒ }t|ƒt|ƒk r`t‚|  || j¡\}}|  |¡}| j||t|ƒ … }|t|ƒ }t|ƒt|ƒk r²t‚|dkrÔt | 	¡ ¡| j
| 	¡ < n|| j
| 	¡ < |d7 }q|S )Nr   s   avro.schemaé   )r   r   r   r   r/   r.   r   ÚjsonÚloadsÚdecoder   )r6   r9   Z
temp_countÚdatÚkeyÚvalr   r   r   r!   �   s&    



zReadAvroFT.cont_specc                 C  s&   | j dd… }t|ƒdk rt‚|dkS )Nr   r
   s   Obj)r   r.   r   )r6   Úinitr   r   r   r   ¦   s    zReadAvroFT.check_validc                 C  sT   d}d}|t |ƒkrt‚|| }|d7 }||d@ |> O }|d7 }|d@ sqLq||fS )Nr   rH   é   é   é€   )r.   r   )r6   r9   Ú_dataÚshiftÚresultÚir   r   r   r   ¬   s    zReadAvroFT.decode_varintc                 C  s   |d? |d@  A S )NrH   r   )r6   Únr   r   r   r   »   s    zReadAvroFT.decode_zigzagc                 C  sÒ   |d dkrd|› d�S |d dkr0d|› d�S |d dkrHd|› d�S |d dkr`d|› d�S |d dkrxd|› d�S |d d	kršd
|› d|d › d�S |d dkr²d|› d�S |d dkrÊd|› d�S t ‚d S )NÚtyper/   ú0 nodez-data <- stack ÚlongÚfloatÚdoubleÚbooleanÚbytesz1 nodez-offsets +<- stack 97 noderH   Ústringz-offsets +<- stack Úenumz-index <- stack )ÚAssertionError)r6   r   Úcountr   r   r   Údum_dat¾   s"    zReadAvroFT.dum_datc	                  C  sâ  t |ttfƒrd|i}|d dkrðtjjdtjjd|d › �d�d|› �d�}	| d|d › d�¡ | d|› d	�¡ | d|d › d
�¡ | d|› d�¡ | dd|  d|› d� ¡ | dd|  d|d › d� ¡ |	||||||fS |d dk�r†|}
g }g }|d D ]H}| |d ¡ |  ||||d ||||¡\}	}}}}}}| |	¡ �qtjj	||d|
› �d�}	|	||||||fS |d dk�rÜtjj
dtjjdddid|d › �d�ddid|› �d�}	| d|d › d�¡ | d|› d�¡ | d|d › d
�¡ | d|› d�¡ | d|› d�¡ | j�rN| dd|  d ¡ | dd|  d ¡ | dd|  d|› d � ¡ | dd|d   d!|d › d
� ¡ | j�rÆ| dd|  d" ¡ |	||d ||||fS |d d#k�r|tjjd$d|› �d%�}	| d|› d&�¡ | d|› d
�¡ | j�rL| dd|  d'|› d
� ¡ n| dd|  d(|› d
� ¡ |	||||||fS |d d)k�rtjjd*d|› �d�}	| d|› d
�¡ | d|› d+�¡ | j�rì| dd|  d'|› d
� ¡ n| dd|  d(|› d
� ¡ |	||||||fS |d d,k�r¼tjjd-d|› �d�}	| d|› d.�¡ | d|› d
�¡ | j�rŒ| dd|  d/|› d
� ¡ n| dd|  d0|› d
� ¡ |	||||||fS |d d1k�r\tjjd2d|› �d�}	| d|› d3�¡ | d|› d
�¡ | j�r,| dd|  d4|› d
� ¡ n| dd|  d5|› d
� ¡ |	||||||fS |d d6k�rütjjd7d|› �d�}	| d|› d8�¡ | d|› d
�¡ | j�rÌ| dd|  d9|› d
� ¡ n| dd|  d:|› d
� ¡ |	||||||fS |d d;k�r| d|d › d<�¡ | d|› d=�¡ | d|d › d
�¡ | d|› d�¡ tjj
dtjjdd|d › �dd>id?�dd@id|› �d�}	| d|› d�¡ | dd|  d ¡ | dd|  d|› d � ¡ | dd|d   d!|d › d
� ¡ |	||d ||||fS t |d tƒ�râdA}dB}|}
dC}t|d ƒ}|d D ]*}t |tƒ�rn|d dk�rnd}ndA}�qJd|d v �rÂ|dAk�rÂ|dDk�rÂ| d|› dE�¡ | d|› dF�¡ dG}näd|d v �r|dk�r| d|› dH�¡ | d|› d�¡ dI}n¢|d D ]H}|dk�r| d|› dE�¡ | d|› dF�¡ d}|}|d }dJ}�q| d|› dK�¡ | d|› dL�¡ | d|› dH�¡ | d|› d�¡ |}dM}| dd|  dN ¡ |dGk�
rJ|}
dA}|d  d¡}|dDk�rðd| }n"|dDk�	r|dAk�	r
d}n|d }t|ƒD �]}|d | dk�	rÆt |d | tƒ�	rpdd|d   |  |d | |
d ¡ }n,dd|d   |  d|d | i|
d ¡ }| dd|  |› dO|
› dP|› dQ� ¡ nf| dd|  |› dR|
› dS� ¡ |  d|d | i||d |d ||||¡\}}}}}}}| dQ¡ �	qtjjdT|dJd|
› �d�}	|dIk�r”|}
|d  d¡}|dDk�
rzd| }n|dDk�
r˜|dAk�
r”d}ndA}|d  d¡}t|ƒD ]Ì}|d | dk�
rè| dd|  |› dU|
› dV� ¡ n�| dd|  |› dW|› |› dX|› dY|› |› dZ�
 ¡ | d[|› |› d�¡ |  d|d | i||d |d ||||¡\}}}}}}}| d\¡ �
q®tjjd|d|
› �d�}	|dMk�r¶|�r²|d  d¡}|dDk�rÆd| }n"|dDk�rè|dAk�ràd}n|d }|}
g }t|ƒD �]h}|d | dk�rB| dd|  |› dO|› d]|› d^|› dV� ¡ �qø|�rx| dd|  |› dR|› dP|› d_|› d`� ¡ n2| dd|  |› da|› d_|› db|› |› dc�	 ¡ | d[|› |› dd�¡ | dd|d   de|› |› dX|› d� ¡ | dd|d   df|› |› dc� ¡ |  d|d | i||d |d ||||¡\}}}}}}}| |¡ | dg¡ �qø|�rœtjjdTtjjdTd|d|› �d�dJd|› �d�}	ntjjdTd|d|› �d�}	| dd|d   dh ¡ |	||||||fS t |d tƒ�r.|  |d |||||||¡\}	}}}}}}|	||||||fS |d dik�rê| d|d › d
�¡ | d|d › d�¡ tjjtjjdd|d › �dd>id?�dd@i|dj d|› �dk�}	|dj }
| dd|  |
› dl|d › d
� ¡ |	||d ||||fS |d dmk�rFtjjdtjj
dtjjdddid|dD › �d�ddid|d › �d�ddnid|› �d�}	| d|› d�¡ | d|› d	�¡ |do }dAgg  }}dA}|D ]@}| t|ƒ| ¡ |dp }|D ]}| t t|ƒ¡¡ �q²�q�tj|tjdq�|d|d › d�< tj|tjdq�|d|dD › d
�< | dd|  d(|› d� ¡ |	||dD ||||fS |d drk�r¸|}
| d|› d=�¡ | d|› d�¡ | dd|  ds ¡ | dd|  dt ¡ | dd|  du ¡ | dd|  d|› dv� ¡ t |dw tƒ�rôdJ| _n| dd|  d ¡ | d|› d�¡ |  d|dw i||d |d ||||¡\}}}}}}}| j�rbdC| _n| dd|  d" ¡ | dd|  dx ¡ tjj
d|d|
› �d�}	|	||||||fS |d dyk�rÌt‚ntdz|d › �ƒ‚d S ){NrX   ÚnullZi64ÚnoderH   )Úform_keyzoutput nodez-data uint8 
z-index int64 
z-dataz-indexÚ
z    z-1 nodez-index <- stackrY   z-data <- stackÚrecordÚfieldsÚnamer_   r2   Z	__array__Úchar)Ú
parametersrf   z-offsets int64 
z-offsetsz-offsets <- stack
z0 dozstream zigzag-> stack
zdup nodez-offsets +<- stack
zstream #B-> nodeÚloopr/   Zint32)Z	primitiverf   z-data int32 
zstream #zigzag-> nodezstream zigzag-> noderZ   Úint64z-data int64 
r[   Zfloat32z-data float32 
zstream #f-> nodezstream f-> noder\   Zfloat64z-data float64 
zstream #d-> nodezstream d-> noder]   Úboolz-data bool
zstream #?-> nodezstream ?-> noder^   z-data uint8
z-offsets int64
Úbyte)rf   rl   Ú
bytestringr   r   Fr   z-mask int8
z-maskZnull_non_recordz-index int64
Znull_recordTz-tags int8
z-tagsZno_nullzstream zigzag-> stack casez
 of 0 nodez-mask <- stack z endofz
 of 1 nodez-mask <- stackÚi8z of -1 nodez-index <- stack endofz of countvarz @ nodez-index <- stack 1 countvarz +! zvariable countvarz
endofz-mask <- stack 0 nodez-tags <- stack 0 nodez nodez-tags <- stackz of z-tags <- stack 1 countvarz +!z 
Zcountvarz
1 countvarz
 endofZendcaseÚfixedÚsize)rl   rt   rf   z stream #B-> noder`   ZcategoricalÚsymbolséÿÿÿÿr   Úarrayzstream zigzag-> stackzdup 0 <z)if stream zigzag-> stack drop negate thenz-offsets +<- stackÚitemsz1 stream skipÚmapzunrecognized Avro type: )Ú
isinstanceÚstrÚlistÚakZformsZIndexedOptionFormZ	EmptyFormr'   r#   Z
RecordFormZListOffsetFormZ	NumpyFormr   r.   ÚdictÚindexÚrangerc   ZByteMaskedFormZ	UnionFormZRegularFormZIndexedFormr1   r2   Úordrw   rn   ÚNotImplementedErrorra   ) r6   r7   r%   r:   r&   r<   r=   r;   r>   ZaformÚtempZ	aformcontZaformfieldsrC   ÚflagZtype_idxZnull_presentÚoutZmask_idxZ	union_idxZdum_idxZidxxrV   ZaaZaform1Z
temp_formsZtemparÚoffsetrL   ÚprevÚxZ	aformtempr   r   r   r#   Ò   s¬   ýÿÿù
	øøù
ýø
ÿÿù

ÿÿÿù
ÿÿù
ÿÿù
ÿÿù
ÿÿù
ýøÿÿù
"






ÿþÿ
ÿÿþÿÿþÿÿøøÿ




ÿþÿÿ"þÿ	øøÿ




ÿþÿÿþÿÿþÿ
ÿþÿ
ÿþÿøø
ÿú	ÿù
	øøù
ýøÿù
ýø
óÿ ÿù
ÿÿ	
øøù
zReadAvroFT.rec_exp_json_codeN)F)r   r   r   rD   r"   r-   r!   r   r   r   rc   r#   r   r   r   r   r	      s   
jr	   )Ú
__future__r   rI   Únumpyr1   r+   r}   Zawkward.forthÚ	Exceptionr   r	   r   r   r   r   Ú<module>   s   