Regular expression in patch_xml problem - removing Jinja tags

[naro]

I have a DOCX template like this:

Available answers:
    {% for answer in answers %}{{r answer.text }}
    {% endfor %}

which produces a XML snippet

<w:p><w:pPr><w:pStyle w:val="Normal"/><w:rPr><w:b w:val="false"/><w:b w:val="false"/><w:bCs w:val="false"/></w:rPr></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>Available answers:</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:ind w:left="709" w:hanging="0"/><w:rPr><w:rFonts w:ascii="Verdana" w:hAnsi="Verdana"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>{% for answer in answers %}{{r answer.text }}</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:ind w:left="709" w:hanging="0"/><w:rPr/></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>{% endfor %}</w:t></w:r></w:p>

And the regular expression in patch_xml causing problems:

<w:r[ >](?:(?!<w:r[ >]).)*({%|{{)r ([^}%]*(?:%}|}})).*?</w:r>

When this code is passed through patch_xml method, the {% for %} tag is accidentally removed and rendering fails on Encountered unknown tag 'endfor' message
Output:

<w:p><w:pPr><w:pStyle w:val="Normal"/><w:rPr><w:b w:val="false"/><w:b w:val="false"/><w:bCs w:val="false"/></w:rPr></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>Available answers:</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:ind w:left="709" w:hanging="0"/><w:rPr><w:rFonts w:ascii="Verdana" w:hAnsi="Verdana"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr></w:pPr>{{ answer.text }}</w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:ind w:left="709" w:hanging="0"/><w:rPr/></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>{% endfor %}</w:t></w:r></w:p>

The correct behaviour would be to leave all Jinja markup in the output:
{% for answer in answers %}{{r answer.text }}

Regex101 snippet: https://regex101.com/r/3I5Otf/2

[elapouya]

What version of Microsoft word are you using ? 2017-05-26 13:28 GMT+02:00 Radim Novotný <notifications@github.com>:

…

I have a DOCX template like this: Available answers: {% for answer in answers %}{{r answer.text }} {% endfor %} which produces a XML snippet <w:p><w:pPr><w:pStyle w:val="Normal"/><w:rPr><w:b w:val="false"/><w:b w:val="false"/><w:bCs w:val="false"/></w:rPr></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>Available answers:</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:ind w:left="709" w:hanging="0"/><w:rPr><w:rFonts w:ascii="Verdana" w:hAnsi="Verdana"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>{% for answer in answers %}{{r answer.text }}</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:ind w:left="709" w:hanging="0"/><w:rPr/></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>{% endfor %}</w:t></w:r></w:p> And the regular expression in patch_xml causing problems: <w:r[ >](?:(?!<w:r[ >]).)*({%|{{)r ([^}%]*(?:%}|}})).*?</w:r> When this code is passed through patch_xml method, the {% for %} tag is accidentally removed and rendering fails on Encountered unknown tag 'endfor' message Output: <w:p><w:pPr><w:pStyle w:val="Normal"/><w:rPr><w:b w:val="false"/><w:b w:val="false"/><w:bCs w:val="false"/></w:rPr></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>Available answers:</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:ind w:left="709" w:hanging="0"/><w:rPr><w:rFonts w:ascii="Verdana" w:hAnsi="Verdana"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr></w:pPr>{{ answer.text }}</w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:ind w:left="709" w:hanging="0"/><w:rPr/></w:pPr><w:r><w:rPr><w:b w:val="false"/><w:bCs w:val="false"/><w:sz w:val="16"/><w:szCs w:val="16"/></w:rPr><w:t>{% endfor %}</w:t></w:r></w:p> The correct behaviour would be to leave all Jinja markup in the output: {% for answer in answers %}{{r answer.text }} Regex101 snippet: https://regex101.com/r/3I5Otf/2 — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#81>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AA2N7Hqsaaci3j6yFchUJgzCSFAm2Gomks5r9rdfgaJpZM4NnfdV> .

[naro]

I'm using LibreOffice 5 on Mac OSX but saving the files as DOCX (Word 2007-20013 docx)

[hugokernel]

Same problem here (Libreoffice 5.1.6.2).

Docx content

{%if foobar%} {{r foobar}}COUCOU{%r endif%}

XML body

<w:p><w:pPr><w:pStyle w:val="Normal"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{%if foobar%}</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:spacing w:before="0" w:after="200"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{{</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>foobar}}COUCOU{%endif%}</w:t></w:r></w:p>

Error

jinja2.exceptions.TemplateSyntaxError: Unexpected end of template. Jinja was looking for the following tags: 'elif' or 'else' or 'endif'. The innermost block that needs to be closed is 'if'.

[elapouya]

do not mix 'r' : either use {%r if %}...{%r endif%} or {% if %}...{% endif%} but one 'r' at a side none at the other. 2017-06-20 11:07 GMT+02:00 Charles R. <notifications@github.com>:

…

Same problem here (Libreoffice 5.1.6.2). Docx content {%if foobar%} {{r foobar}}COUCOU{%r endif%} XML body <w:p><w:pPr><w:pStyle w:val="Normal"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{%if foobar%}</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:spacing w:before="0" w:after="200"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{{</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t> foobar}}COUCOU{%endif%}</w:t></w:r></w:p> Error jinja2.exceptions.TemplateSyntaxError: Unexpected end of template. Jinja was looking for the following tags: 'elif' or 'else' or 'endif'. The innermost block that needs to be closed is 'if'. — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#81 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AA2N7Ln_fW9q5uQ3RqjONowYysP4dhbGks5sF4vFgaJpZM4NnfdV> .

[hugokernel]

Sorry, the correct Docx content is without 'r'

I did some tests :

[...]
context = {
    'foobar': RichText('Foobar!', color='ff0000')
}
[...]

Test 1 : no 'r' on block, content on same line

Docx content

{%if foobar%}{{r foobar}}COUCOU{%endif%}

Template XML body

<w:p><w:pPr><w:pStyle w:val="Normal"/><w:spacing w:before="0" w:after="200"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{%if foobar%}{{</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>foobar}}COUCOU{%endif%}</w:t></w:r></w:p>

Result

Foobar!

• foobar content is red
• "COUCOU" not appear

Test 2 : no 'r' on block, 2 lines

Docx content

{%if foobar%} {{r foobar}}COUCOU{%endif%}

Result

jinja2.exceptions.TemplateSyntaxError: Unexpected end of template. Jinja was looking for the following tags: 'elif' or 'else' or 'endif'. The innermost block that needs to be closed is 'if'.

Test 3 : 'r' on block, 1 line

Docx content

{%r if foobar%}{{r foobar}}COUCOU{%r endif%}

Result

jinja2.exceptions.TemplateSyntaxError: Encountered unknown tag 'endif'.

Test 4 : 'r' on block, 2 lines

Docx content

{%r if foobar%}
{{r foobar}}COUCOU{%r endif%}

Template XML body

<w:body><w:p><w:pPr><w:pStyle w:val="Normal"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{%</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>if foobar%}</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:spacing w:before="0" w:after="200"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{{</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>foobar}}COUCOU{%</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>endif%}</w:t></w:r></w:p>

Result

Vide !

[elapouya]

I will test that on MS word 1997 as my lib was developped by using it (I agree, it should work on LibreOffice too...) 2017-06-20 12:07 GMT+02:00 Charles R. <notifications@github.com>:

…

Sorry, the correct Docx content is without 'r' I did some tests : [...] context = { 'foobar': RichText('Foobar!', color='ff0000') } [...] Test 1 : no 'r' on block, content on same line Docx content {%if foobar%}{{r foobar}}COUCOU{%endif%} Template XML body <w:p><w:pPr><w:pStyle w:val="Normal"/><w:spacing w:before="0" w:after="200"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{%if foobar%}{{</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t> foobar}}COUCOU{%endif%}</w:t></w:r></w:p> Result Foobar! - foobar content is red - "COUCOU" not appear Test 2 : no 'r' on block, 2 lines Docx content {%if foobar%} {{r foobar}}COUCOU{%endif%} Result jinja2.exceptions.TemplateSyntaxError: Unexpected end of template. Jinja was looking for the following tags: 'elif' or 'else' or 'endif'. The innermost block that needs to be closed is 'if'. Test 3 : 'r' on block, 1 line Docx content {%r if foobar%}{{r foobar}}COUCOU{%r endif%} Result jinja2.exceptions.TemplateSyntaxError: Encountered unknown tag 'endif'. Test 4 : 'r' on block, 2 lines Docx content {%r if foobar%} {{r foobar}}COUCOU{%r endif%} Template XML body <w:body><w:p><w:pPr><w:pStyle w:val="Normal"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{%</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>if foobar%}</w:t></w:r></w:p><w:p><w:pPr><w:pStyle w:val="Normal"/><w:spacing w:before="0" w:after="200"/><w:rPr/></w:pPr><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t>{{</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t> foobar}}COUCOU{%</w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t xml:space="preserve">r </w:t></w:r><w:r><w:rPr><w:lang w:val="en-US"/></w:rPr><w:t> endif%}</w:t></w:r></w:p> Result Vide ! — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#81 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AA2N7EaC6I7oW4rzprtVeckuNmfl2qlnks5sF5nigaJpZM4NnfdV> .

[elapouya]

I made a patch (not yet on pypi)
do a git pull or git clone again to test it and tell me it corrects the problem
please use 'r' everywhere :

{%r if foobar%} {{r foobar}}COUCOU{%r endif%}
or
{%r for answer in answers %}{{r answer.text }}{%r endfor %}

[hugokernel]

It works !
I tested with the previous 4 tests and everything is ok.

Thx !