Adaptação e validação de instrumento para caracterização de cultura de segurança de alimentos

Revista Higiene Alimentar, 34 (290) : 126-145, jan/jun, 2020. DOI 10.37585/HA2020.adaptacao

Victor Chiaroni Galvão 1,

vchiaroni@gmail.com

Wedson Luis do Monte Ferreira 2,

wedson.monte@gmail.com

Simone de Carvalho Balian 3,

balian@usp.br

1,3 Departamento de Medicina Veterinária Preventiva e Saúde Animal, Faculdade de Medicina Veterinária e Zootecnia, Universidade de São Paulo, São Paulo, Brasil.

2 Pesquisador Independente.

RESUMO: Este estudo teve por objetivo adaptar e validar um instrumento (questionário) em português do Brasil para caracterização de cultura de segurança de alimentos. Utilizou-se como cenário de estudo áreas de manipulação de alimentos prontos para consumo de uma rede varejista de alimentos, composta por 28 lojas e 2204 manipuladores no estado de São Paulo. O processo de adaptação do instrumento ocorreu em seis passos: tradução do instrumento para o novo idioma, síntese das versões traduzidas, avaliação da síntese por especialistas, avaliação pelo público-alvo, retradução e estudo piloto. O instrumento adaptado consta de 31 itens, com respostas fechadas em escala Likert de sete pontos. O total de 383 manipuladores participaram do estudo, distribuídos em 15 lojas.  Foi possível validar o instrumento para caracterização de cultura de segurança de alimentos. Também foi possível ratificar a existência de elementos da cultura de segurança dos alimentos na rede varejista, indicando que existe de fato um processo de construção da segurança dos alimentos na organização.

Palavras-chave: Adaptação Cultural. Cultura de Segurança de Alimentos. Validação de Instrumento.

 

ABSTRACT: This study aimed to adapt and validate an instrument (questionnaire) in Brazilian Portuguese for characterization of food safety culture. The study scenario used ready-to-eat food handling areas of a retail food chain, consisting of 28 stores and 2204 handlers in the state of São Paulo. The instrument adaptation process took place in six steps: translation of the instrument into the new language, synthesis of the translated versions, expert evaluation of the synthesis, target audience evaluation, backtranslation and pilot study. The adapted instrument consists of 31 items, with closed responses on a seven-point Likert scale. A total of 383 handlers participated in the study, distributed in 15 stores. It was possible to validate the instrument for characterization of food safety culture. It was also possible to ratify the existence of food safety culture elements in the retail chain, indicating that there is indeed a process of building food safety in the organization.

Keywords: Cross-cultural adaptation. Food Safety Culture. Instrument Validation.

 

INTRODUÇÃO

 As Doenças Veiculadas por Alimentos (DVA) continuam sendo uma ameaça à saúde das pessoas ao redor do mundo. Estudos sobre a ocorrência de DVA realizados pela World Health Organization revelaram que mais de 600 milhões de pessoas ficaram doentes e aproximadamente 420 mil morreram (WHO, 2020). No Brasil, segundo a Secretaria de Vigilância em Saúde (SVS) do Ministério da Saúde, entre 2000 e 2018 houve um total de 122187 doentes, 16817 hospitalizados e 99 óbitos causados por DVA (BRASIL, 2019).

Os estabelecimentos que comercializam alimentos devem estabelecer e cumprir os Programas de Gestão da Segurança de Alimentos (PGSA) baseados em normas sanitárias e requisitos de qualidade que variam entre organizações, regiões, países e blocos econômicos, conforme Kirezieva et al. (2015). Porém, é relativamente recente que se identificou a necessidade de incluir mais um fator de risco na estruturação dos PGSA, que é a Cultura de Segurança de Alimentos (GRIFFITH, 2010a).

Yiannas (2009) é um autor que vem evidenciando, que apesar das boas condições estruturais, equipamentos e conhecimento técnico por parte dos manipuladores de alimentos, ainda não se conseguiu reduzir a ocorrência de DVA em todo o mundo. Compreende-se nos tempos atuais que Segurança de Alimentos está diretamente relacionada ao comportamento humano. O autor foi um dos primeiros a focar na Cultura de Segurança de Alimentos (CSA) em estabelecimentos de alimentos. Para ele a CSA deve ser construída a partir de valores, propósitos, atitudes e comportamentos humanos em um ambiente de produção de alimentos voltados às boas práticas higiênicas e seguras na produção e preparação de alimentos. Em síntese, define CSA como “o modo como fazem as coisas”. Para Griffith (2010a) CSA “a agregação das atitudes, valores e crenças predominantes, relativamente constantes, aprendidas, compartilhadas, que contribuem para os comportamentos de higiene usados dentro de um ambiente particular de manuseio de alimentos”.

Nesse contexto, os autores citados anteriormente influenciaram nas publicações que surgiram nos anos seguintes (BALL, WILCOCK, COLWELL, 2010; DE BOECK et al., 2015; GFSI, 2018; GRIFFITH, LIVESEY, CLAYTON, 2010b; JESPERSEN et al., 2016; NEAL, BINKLEY, HENROID,  2012; TAYLOR, 2011; TAYLOR et al., 2015; UNGKU FATIMAH, 2013; WRIGHT, LEACH, PALMER,  2012).   Seus trabalhos ofereceram bases para a construção de outras definições de CSA. Além de definições, os autores levantaram elementos ou fatores que comporiam a CSA, os quais também começaram a ser objeto de estudos e investigação em diferentes realidades da cadeia de alimentos, desenvolvendo inclusive novos fatores/elementos, por exemplo Ungku Fatimah (2013).

Deficiências no compromisso de gerenciamento, no apoio organizacional e no cumprimento efetivo das boas práticas de produção de alimentos indicam situação de frágil CSA em uma organização e representam efetivos fatores de risco para a ocorrência de DVA. Diversos exemplos estão registrados na literatura, como a Peanut Corporation of America e Maple Leaf Foods, Inc., conforme citam Powell, Jacob & Chapman (2011).

Em 2018 a Global Food Safety Initiative definiu CSA como “os valores compartilhados, crenças e normas que afetam a mentalidade e o comportamento em relação à segurança dos alimentos em toda a organização” (GFSI, 2018).

Perante esse estado da arte sobre CSA, entende-se que a construção, manutenção e caracterização da CSA está na vanguarda como um instrumento fundamental para completar os PGSA e de autocontrole dos processos produtivos de alimentos e, consequentemente, minimizar a ocorrência de DVA. É sob tais premissas que o presente estudo teve por objetivos adaptar e validar um instrumento em português do Brasil para avaliação de CSA em organizações que manipulam e comercializam alimentos.

 

MATERIAIS E MÉTODOS

  Participantes e cenário do estudo. O cenário deste estudo compreendeu áreas de manipulação de alimentos prontos para consumo de uma Rede de Lojas Hipermercado (RLH) multinacional e seus colaboradores. Os setores da RLH cujos colaboradores fizeram parte do estudo foram: açougue, peixaria, salsicharia (embutidos e derivados lácteos), padaria e frutas/legumes/verduras (FLV). O universo de pesquisa compreendeu 2204 manipuladores de alimentos, em 28 lojas hipermercado, localizadas na grande São Paulo.

As lojas da organização se estruturavam sob o seguinte organograma: os manipuladores de alimentos (operadores de loja (OP) são subordinados a um gerenciador (GC), que está sob a direção da loja. Paralelamente existe uma equipe responsável pela Segurança de alimentos, composta por um Responsável Técnico (RT) e um Estagiário (ES).

O tamanho da amostra foi obtido a partir do número de lojas disponibilizadas pela RLH, devido à logística da própria rede, uma vez que os colaboradores participantes deveriam interromper suas atividades de trabalho para participarem da pesquisa, respondendo ao questionário.

Delineamento do Estudo. Participaram do estudo 383 colaboradores maiores de 18 anos. O pesquisador apresentou pessoalmente os objetivos do estudo, e o caráter anônimo e voluntário da pesquisa. A amostra se caracterizou como não probabilística e de conveniência. O instrumento possuía 31 itens em escala Likert de sete pontos. O instrumento foi composto por seis fatores de CSA, a seguir:

1- Apoio dos gerentes e colaboradores;

2- Comunicação;

3- Autocomprometimento;

4- Suporte do ambiente;

5- Pressão no trabalho;

6- Julgamento baseado em risco.

A pesquisa da literatura, em diferentes bases nacionais de dados (LILACS, SciELO e Periódicos CAPES) não apontou a existência de estudos utilizando instrumento de avaliação da CSA no Brasil. No âmbito internacional, a partir das bases de busca Scopus, Sciencedirect, Pubmed e Web of Science foram encontrados os seguintes estudos (BALL, WILCOCK, COLWELL, 2010; DE BOECK et al., 2015; GRIFFITH, JACKSON, LUES, 2017; JESPERSEN et al., 2016; NEAL, BINKLEY, HENROID,  2012; SEWARD, DOBMEIER, BARON 2012; TAYLOR, 2011; UNGKU FAIMAH, 2013; WRIGHT, LEACH, PALMER,  2012) considerados os mais relevantes para o propósito desta pesquisa. Analisando tais artigos, identificou-se os seguintes critérios para a escolha do instrumento:

  1. a) questionário disponível para ser avaliado;
  2. b) explicação dos elementos que compõem a CSA;
  3. c) itens condizentes com o dia a dia de manipulação de alimentos;
  4. d) limite de até 50 itens.

Foram feitos convites, por correio eletrônico, para empresas de alimentos que possuíam realidades de processos de manipulação de alimentos prontos para o consumo, na cidade de São Paulo, Brasil, semelhantes aos que Ungku Fatimah (2013) trabalhou. Apenas uma empresa do setor de hipermercados aceitou participar do estudo. Foi agendada uma reunião com o gestor de SA para explicar os objetivos, propostas e etapas do estudo.

Posterior à escolha do instrumento, foi feita a adaptação e validação do instrumento para o português do Brasil. O processo de adaptação baseou-se no trabalho de Borsa, Damásio & Bandeira (2012) que estabeleceram seis passos:

1- Tradução do instrumento para o novo idioma

2- Síntese das versões traduzidas;

3- Avaliação da síntese por especialistas;

4- Avaliação pelo público-alvo;

5- Backtranslation (retradução);

6-Estudo piloto.

Segundo orientação de Borsa, Damásio & Bandeira (2012), foi solicitada através de e-mail, uma autorização do autor para uso do questionário, e ele permitiu a continuidade do processo.

  Análise dos Dados. As etapas estabelecidas por Borsa, Damásio & Bandeira (2012) para adaptação cultural e validação de instrumentos psicológicos foram analisadas segundo critério qualitativo, ou seja, as versões produzidas pelos tradutores e retradutores foram avaliadas uma a uma para verificar o sentido, a forma, o conteúdo, e comparadas aos itens do autor original.

Os resultados do questionário tanto da seção demográfica quanto dos fatores de CSA foram apresentados e analisados pela estatística descritiva e, portanto, foram mostrados através das Frequências absolutas (Freq) e relativas (Freq%), Moda (Mod) e Mediana (Med). As análises fatoriais exploratória (AFE) e confirmatória (AFC) foram realizadas utilizando o Statistical Package for the Social Sciences (SPSS, versão 18.0) com a finalidade de verificar a distribuição dos itens segundo as suas cargas fatoriais, bem como os valores da matriz de componente rotacionada (Varimax).

A consistência interna (Alpha de Chronbach) foi calculada para avaliar para avaliar a confiabilidade dos itens que compõem o instrumento de caracterização da CSA. Realizou-se a análise descritiva dos dados demográficos e posterior estudo relacional (teste de Spearman) com as respostas dos colaboradores em relação à CSA e suas funções de trabalho.

Para a análise dos itens e seus fatores, houve a inversão do conteúdo original dos itens 6, 30 e 31 elaborado por Ungku Fatimah (2013), pois estes eram negativos, conforme Hair, Andersosn & Babin (2009). Os dados obtidos de entrevistados que não responderam mais de 50% dos itens, foram eliminados da análise estatística multivariada. Foram eliminados, neste estudo, 18 participantes.

Aspectos Éticos. O presente estudo foi aprovado pela comissão de ética de pesquisa (protocolo CAAE: 95202318.5.0000.5422) de acordo com a Resolução n° 510/2016 do Conselho Nacional de Saúde para Pesquisas em Humanos.

RESULTADOS E DISCUSSÃO

Adaptação Cultural do Instrumento de Caracterização de Cultura de Segurança de Alimentos. Após a tradução pelos dois profissionais bilíngues, síntese e avaliação pelos especialistas, 25/31 itens, não apresentaram diferenças de sentido de conteúdo. Os itens 2, 4, 6, 12, 30 e 31 apresentaram alguma palavra que gerou diferentes significados, passível de alterar o propósito genuíno do item. Quando da síntese pelos especialistas, decidiu-se por selecionar os termos mais ajustados aos conceitos de CSA e objetivos do estudo.

Participantes voluntários pertencen- tes à amostra prevista para o estudo responderam ao instrumento com o propósito de verificar o grau de clareza das instruções de preenchimento, diagramação e formatação do documento. Participaram quatro manipuladores de uma das lojas. Todos alegaram que os itens estavam compreensíveis, as instruções eram claras, a diagramação e formatação do instrumento eram satisfatórias e objetivas. Um dos participantes sugeriu a substituição da palavra “sexo” para “gênero”, o que foi acatado.

A etapa do Backtranslation (retradução) visou identificar discrepâncias entre as duas versões dos retradutores. Não foram identificadas discrepâncias de sentido, não houve a utilização de palavras diferentes por parte dos especialistas, mesmo desconhecendo o instrumento original. Finalizada a análise pelos especialistas em CSA, a síntese foi enviada ao autor original para julgar a fidedignidade do mesmo. Os resultados referentes as etapas de tradução, retradução e sínteses estão apresentados na Tabela 1.

O estudo piloto foi conduzido com 29 manipuladores em uma das lojas. Previamente ao preenchimento, o pesquisador informou sobre a garantia do anonimato e da participação voluntária. Foi realizada a explicação dos itens da seção de dados sócio-demográficos, exclusivamente, visando não interferir nas respostas relativas ao conteúdo sobre CSA. Quando da entrega do instrumento já preenchido, o pesquisador agradeceu pessoalmente a cada um dos participantes e simbolicamente ofereceu um chocolate.

Alguns respondentes não se atentaram que existiam questões no verso das folhas e não responderam os itens de 7 a 20. Em virtude dessa falha o pesquisador passou a alertá-los para o preenchimento frente e verso nas lojas que ainda não haviam participado. Após preenchimento, os participantes fizeram sugestões e críticas para a melhoria do instrumento aplicado.

Os participantes do estudo piloto relataram que as perguntas foram pertinentes à realidade de manipulação de alimentos e, o chocolate recebido pela participação foi estimulante.  Mais uma vez foi salientado que a participação deveria ser anônima e voluntária.

Tabela 1. Resultados das etapas de tradução, backtranslation e síntese das versões dos avaliadores.

O processo de adaptação cultural não exigiu alteração de conteúdo, supressão de itens ou alteração da forma escrita. Foram selecionadas as palavras capazes de manter o sentido dos textos na etapa de tradução. Em trabalhos semelhantes, recomendou-se manter, no mínimo dois tradutores para se assegurar a fidedignidade ao conteúdo (BRISLIN, 1970; GUILLEMIN, BOMBARDIER, BEATON, 1993; PRIETO, 1992; SILVA-ROCHA, OSÓRIO, 2017).

A participação dos especialistas (n=2) influenciou positivamente na etapa de tradução. Ao analisarem as traduções realizadas pelos tradutores A e B e, comparar com os itens originais em inglês, identificaram os aspectos descritos na literatura científica sobre o que avaliar nos textos a fim de que as ideias, intenções e conteúdo original não fossem alterados ou mesmo perdidos (BORSA, DAMÁSIO, BANDEIRA, 2012). Os itens 2, 4, 6, 12, 30 e 31 comprovaram a necessidade da análise detalhada e cuidadosa na escolha de palavras, assegurando a proposta original de conteúdo.

Guillemin, Bombardier & Beaton (1993) sugerem utilizar uma equipe de especialistas multidisciplinar, porém neste estudo optou-se por profissionais na área da Segurança dos Alimentos. Isto contribuiu para que na análise dos itens traduzidos, pudessem influenciar a síntese dos documentos de maneira assertiva, não interferindo de maneira literal ao sugerirem palavras para os itens que formaram a síntese dos tradutores A e B (Tabela 1).

A avaliação pelos colaboradores do estudo piloto revelou que os itens estavam compreensíveis, as instruções foram claras, a diagramação e formatação do instrumento se mostravam satisfatórias e objetivas.

Houve mínimas divergências entre as retraduções pelos profissionais. Mesmo não conhecendo os itens originais os tradutores C e D empregaram as mesmas terminologias para a maioria dos itens. Destaca-se aqui a importância dos especialistas em Segurança dos Alimentos, na síntese das traduções, assegurando uniformidade nas retraduções. Silva-Rocha & Osório (2017) destacam a participação decisória dos especialistas para o refinamento do instrumento, seguindo os procedimentos propostos por Borsa, Damásio & Bandeira (2012).

Borsa, Damásio & Bandeira (2012, p. 427) enfatizam que o estudo piloto se refere “a uma aplicação prévia do instrumento em uma pequena amostra que reflita as características da amostra/população-alvo”. No presente estudo, não houve necessidade de alterações do instrumento após a realização do teste piloto.

A metodologia de Borsa, Damásio & Bandeira (2012) já foi utilizada em outros estudos (PETRUCCI et al., 2016; SILVA-ROCHA, OSÓRIO, 2017; ZANON et al., 2017), para o presente, se mostrou sistemática, factível e útil para a finalidade desejada, isto é, adequada para adaptação cultural do instrumento.

Perfil sócio-demográfico dos Respondentes. O perfil sócio-demográfico dos participantes está apresentado na Tabela 2. Houve predomínio de homens (Freq = 50,91%), sendo que aproximadamente 95% dos participantes estavam entre 21 e 55 anos de idade e o grupo de 21-25 anos o mais representativo (Freq = 21,15%). Enquanto a frequência absoluta apresenta a quantidade de respostas para cada variável demográfica a frequência relativa apresenta a razão entre quantidade de respostas e o total de respondentes.

Análise de cada um dos 31 itens do Instrumento. A seção do questionário relativa à análise da CSA, estruturada em opções da escala Likert, de sete pontos, permitiu sua análise a partir de frequências absoluta e relativa, avaliando o grau de concordância ou discordância das respostas dos participantes para cada item do questionário. Abaixo são apresentados os quatro itens, para os quais houve as maiores frequências de discordância, indicando situações, práticas e condutas contrárias à Segurança de Alimentos. Os resultados de frequências, moda e mediana dos outros itens do questionário estão na Tabela 3.

O item 6 foi o que apresentou maior grau de discordância entre os quatro itens (Freq = 251/68,7%; Mod = 1; Med = 2). O conteúdo do item 6 – “Acredito que as políticas e os procedimentos de segurança alimentar da empresa são nada mais do que uma obrigação caso haja um problema com a legislação” – mostra que os participantes entendem a Segurança dos alimentos como um dever a ser cumprido pela organização em virtude de existirem exigências e obrigações oficiais sobre o tema. O item 29 – “O número de funcionários programados em cada turno é adequado para que eu possa fazer meu trabalho e manipular alimentos com segurança” (Freq = 150/39,1%; Mod = 1; Med = 5) representa o autorrelato dos participantes que se veem sobrecarregados de tarefas, interferindo na sua capacidade em atender as exigências relativas a SA. O item 30 – “Quando estamos sob pressão para terminar a produção de alimentos, os gerentes às vezes nos dizem para trabalhar mais rápido, ‘pulando’ algumas regras de segurança dos alimentos” (Freq = 150/41,4%; Mod = 7; Med = 4), revela uma cooperação entre Gerenciadores e Operadores de Loja contra a segurança dos alimentos em prol da produtividade. O item 31 – “Às vezes me pedem para ‘cortar caminho’ em relação à segurança dos alimentos durante a produção para que se possa economizar custos”, (Freq = 117/32%; Mod = 7; Med = 6) transparece, aparentemente, um descaso dos participantes com a segurança dos alimentos.

Tabela 2. Perfil sócio-demográfico dos participantes do estudo (n=383).

Características

n

%

Sexo

  

   Feminino

182

47,52%

   Masculino

195

50,91%

Idade

  

   18-20 anos

11

2,87%

   21-25 anos

81

21,15%

   26-30 anos

59

15,40%

   31-35 anos

65

16,97%

   36-40 anos

59

15,40%

   41-45 anos

37

9,66%

   46-50 anos

30

7,83%

   51-55 anos

20

5,22%

   56-60 anos

7

1,83%

   61-65 anos

3

0,78%

   66-70 anos

1

0,26%

   71-75 anos

0

0,00%

   76-80 anos

0

0,00%

Origem de nascimento

  

   Norte

2

0,52%

   Nordeste

139

36,29%

   Centro-Oeste

0

0,00%

   Sudeste

221

57,70%

   Sul

7

1,83%

   Distrito Federal

0

0,00%

   Estrangeiro

3

0,78%

Escolaridade

  

   Primário incompleto

1

0,26%

   Primário completo

2

0,52%

   Fundamental incompleto

8

2,09%

   Fundamental completo

35

9,14%

   Médio incompleto

26

6,79%

   Médio completo

232

60,57%

   Superior incompleto

35

9,14%

   Superior completo

28

7,31%

   Pós-graduado

2

0,52%

   Ensino Técnico

2

0,52%

Experiência na área de alimentos (anos ou meses)

  

   Sem experiência

135

35,25%

   <6 meses

14

3,66%

   6 meses a 1ano

27

7,05%

   1-2 anos

47

12,27%

   3-5 anos

57

14,88%

   6-10 anos

43

11,23%

   11-15 anos

14

3,66%

   16-20 anos

8

2,09%

   21-25 anos

3

0,78%

   26-30 anos

2

0,52%

   31-35 anos

1

0,26%

Experiência na “Empresa X” (anos ou meses)

  

   <6 meses

16

4,18%

   6 meses a 1ano

59

15,40%

   1-2 anos

43

11,23%

   3-5 anos

105

27,42%

   6-10 anos

71

18,54%

   11-15 anos

37

9,66%

   16-20 anos

32

8,36%

   21-25 anos

12

3,13%

   26-30 anos

5

1,31%

   31-35 anos

0

0,00%

Cargo ou Função

  

   Operador de loja (total)

324

84,59%

          Peixaria

26

6,79%

          Padaria

72

18,80%

          Salsicharia

48

12,53%

          Açougue

66

17,23%

          FLV

29

7,57%

          Cafeteria

16

4,18%

          Não identificou o setor

67

17,49%

   Gerenciador (total)

33

8,61%

          Peixaria

4

1,04%

          Padaria

5

1,31%

          Salsicharia

2

0,52%

          Açougue

5

1,31%

          FLV

4

1,04%

          Cafeteria

0

0,00%

          Não identificou o setor

13

3,39%

   Estagiário de Segurança de alimentos

12

3,13%

   Responsável técnico

7

1,82%

 

Tabela 3. Resultados de Frequência absoluta e relativa, Moda e Mediana para cada ponto da escala Likert.

 

Fatores

(Ungku Fatimah,

2014)

Itens

Escala Likert

MODA

MEDIANA

Discordo muito

Discordo moderadamente

Discordo pouco

Indiferente

Concordo pouco

Concordo moderadamente

Concordo muito

F1

13

48(12,5%)

14(3,7%)

19(5%)

27(7%)

63(16,4%)

84(21,9%)

109(28,5%)

7

6

F1

14

50(13,1%)

8(2,1%)

20(5,2%)

26(6,8%)

61(15,9%)

85(22,2%)

117(30,5%)

7

6

F1

15

37(9,7%)

15(3,9%)

29(7,6%)

24(6,3%)

66(17,2%)

89(23,2%)

98(25,6%)

7

6

F1

16

43(11,2%)

18(4,7%)

22(5,7%)

27(7%)

50(13,1%)

80(20,9%)

117(30,5%)

7

6

F1

21

53(13,8%)

15(3,9%)

32(8,4%)

33(8,6%)

66(17,2%)

94(24,5%)

85(22,2%)

6

5

F1

22

62(16,2%)

14(3,7%)

38(9,9%)

24(6,3%)

63(16,4%)

88(23%)

85(22,2%)

6

5

F1

23

42(11%)

18(4,7%)

32(8,4%)

34(8,9%)

69(18%)

95(24,8%)

84(21,9%)

6

5

F1

24

38(9,9%)

20(5,2%)

23(6%)

25(6,5%)

72(18,8%)

91(23,8%)

105(27,4%)

7

6

F1

25

42(11%)

11(2,9%)

24(6,3%)

24(6,3%)

72(18,8%)

94(24,5%)

102(26,6%)

7

6

F1

26

49(12,8%)

21(5,5%)

17(4,4%)

29(7,6%)

47(12,3%)

76(19,8%)

133(34,7%)

7

6

F2

1

27(7%)

17(4,4%)

17(4,4%)

15(3,9%)

54(14,1%)

73(19,1%)

170(44,4%)

7

6

F2

2

22(5,7%)

17(4,4%)

23(6%)

31(8,1%)

59(15,4%)

90(23,5%)

132(34,5%)

7

6

F2

3

58(15,1%)

20(5,2%)

35(9,1%)

22(5,7%)

81(21,1%)

77(20,1%)

75(19,6%)

5

5

F2

4

27(7%)

9(2,3%)

26(6,8%)

19(5%)

64(16,7%)

90(23,5%)

135(35,2%)

7

6

F2

5

46(12%)

22(5,7%)

19(5%)

23(6%)

55(14,4%)

91(23,8%)

114(29,8%)

7

6

F2

7

18(4,7%)

17(4,4%)

21(5,5%)

19(5%)

64(16,7%)

92(24%)

135(35,2%)

7

6

F3

8

2(0,5%)

4(1%)

3(0,8%)

14(3,7%)

33(8,6%)

54(14,1%)

252(65,8%)

7

7

F3

9

2(0,5%)

1(0,3%)

4(1%)

9(2,3%)

27(7%)

56(14,6%)

269(70,2%)

7

7

F3

10

2(0,5%)

2(0,5%)

7(1,8%)

7(1,8%)

27(7%)

63(16,4%)

261(68,1%)

7

7

F3

11

4(1%)

4(1%)

3(0,8%)

10(2,6%)

44(11,5%)

69(18%)

234(61,1%)

7

7

F3

12

6(1,6%)

1(0,3%)

1(0,3%)

13(3,4%)

18(4,7%)

48(12,5%)

275(71,8%)

7

7

F4

17

57(14,9%)

13(3,4%)

18(4,7%)

22(5,7%)

56(14,6%)

74(19,3%)

128(33,4%)

7

6

F4

18

18(4,7%)

13(3,4%)

14(3,7%)

14(3,7%)

43(11,2%)

77(20,1%)

187(48,8%)

7

7

F4

19

23(6%)

18(4,7%)

14(3,7%)

26(6,8%)

68(17,8%)

89(23,2%)

129(33,7%)

7

6

F4

20

31(8,1%)

14(3,7%)

20(5,2%)

26(6,8%)

61(15,9%)

87(22,7%)

127(33,2%)

7

6

F5

27

38(9,9%)

21(5,5%)

27(7%)

29(7,6%)

71(18,5%)

96(25,1%)

93(24,3%)

6

5

F5

28

36(9,4%)

13(3,4%)

20(5,2%)

25(6,5%)

49(12,8%)

101(26,4%)

130(33,9%)

7

6

F5

29

84(21,9%)

26(6,8%)

40(10,4%)

32(8,4%)

58(15,1%)

68(17,8%)

61(15,9%)

1

5

F6

6

120(32,9%)

75(20,5%)

56(15,3%)

30(8,2%)

15(4,1%)

17(4,6%)

43(11,8%)

1

2

F6

30

55(15%)

57(15,6%)

38(10,4%)

43(11,8%)

29(7,9%)

27(7,4%)

112(30,7%)

7

4

F6

31

46(12,6%)

38(10,4%)

33(9%)

43(11,8%)

32(8,8%)

29(7,9%)

134(36,7%)

7

6

+



Apenas o item 30 apresentou diferença na interpretação do resultado para Moda e Mediana, enquanto a moda apresentou resultado 7, a mediana resultou em valor 4. Considerando que para CSA a moda é mais relevante, este item foi considerado positivo.

Analisando os fatores de CSA individualmente através das frequências absolutas e relativas pôde-se observar que o Fator 1 – Apoio dos gerentes e colaboradores, demonstrou alta concordância, isto é, interferência positiva em relação ao apoio mútuo entre os colaboradores para a construção e consolidação da SA. O Fator 2 – Comunicação, também apontou alta concordância, indicando que existe comunicação e transferência de mensagens sobre AS, apesar do item 3 ter apresentado alta frequência de respostas “concordo pouco”. O Fator 3 – Auto comprometimento, apresentou alta frequência de respostas “concordo muito”, mais de 60% dos participantes se auto-identificam como comprometidos com a SA. O Fator 4 – Suporte do ambiente, apresentou alta frequência de concordância, indicando que a infraestrutura local é favorável para a SA. O Fator 5 – Pressão no trabalho, obteve alta frequência de respostas “concordo muito” (itens 27 e 28), porém, como já dito, o item 29 indicou condição desfavorável para a SA. Considerando o conjunto de itens “discordo”, pois a frequência absoluta foi mais baixa do que o conjunto de itens “concordo”, caracterizando situações predominantemente favoráveis para a SA. O Fator 6 – Julgamento baseado em risco, mostrou, no item 6, condição desfavorável, enquanto os itens 30 e 31 em concordância com SA, apesar da frequência absoluta do item 30 tanto do conjunto “discordo” quanto “concordo” serem próximas.

A frequência de respostas “Indiferente” (4) ficou abaixo de 10%, com exceção dos itens 30 e 31 que apresentaram ambos 11,8%.

Consistência interna do Instrumento. Segundo Landis & Koch (1977) os valores alfa de Cronbach revelam a consistência interna de um instrumento. Neste estudo o valor de alfa dos 31 itens do questionário foi de 0,7957 caracterizando-se como substancial. O valor de alfa dos fatores F1, F3, F4 e F5 foram maiores que 0,80, evidenciando consistência interna robusta. Os fatores F2 e F6 obtiveram valores de consistência interna de 0,78 e 0,59, respectivamente e consideradas substancial e moderada.

Análise Fatorial Exploratória e Confirmatória dos itens do Instrumento. A Análise Fatorial Exploratória (AFE) foi realizada para verificar em quantos fatores os itens do instrumento se dividiam e, a partir daí confrontá-los com aqueles do instrumento original. Na sequência, foi feita a Análise Fatorial Confirmatória (AFC) para descrever como os itens se distribuíam. Fixando-se o número de fatores foi possível avaliar se o mesmo conjunto de itens se mantinha no mesmo fator do instrumento original (HAIR, ANDERSON, BABIN, 2009).

A matriz de variância total explicada indica a percentagem total da variância dos fatores obtidos (HAIR, ANDERSON, BABIN, 2009), devendo se apresentar acima de 60%. A AFE resultou em 65,5% das variâncias distribuídas em sete fatores, enquanto a AFC apresentou 62,2% dos itens que são explicados por seis fatores, corroborando com a quantidade de fatores determinadas por Ungku Fatimah (2013). As matrizes de componentes não rotacionados e as matrizes de componentes rotacionados (Varimax) foram elaboradas através das cargas fatoriais de cada item do questionário de Ungku Fatimah (2013). O posicionamento dos fatores foi determinado a partir da mais elevada carga fatorial obtido para cada um deles. O arranjo final de fatores está apresentado na Tabela 4.

Foi possível reconhecer novo rearranjo dos itens. Diante disto confrontando-se o arranjo dos fatores de CSA determinados por Ungku Fatimah (2013) com arranjos estabelecidos por outros estudos científicos sobre o assunto, constatou-se que o conteúdo estruturado no  presente instrumento é capaz de caracterizar CSA em estabelecimento que comercializa alimentos.

Considerações sobre a escala Likert. A condução da análise estatística teve por base a natureza dos itens, decidindo-se pela escala de mensuração ordinal, utilizando-se a escala elabora por Likert (1932). A análise dos dados foi apresentada por frequências de respostas absolutas e relativas (%). Boone & Boone (2012), destacam que se considerarmos a escala Likert como ordinal pode haver erro na análise estatística, isto é, analisar os dados considerando-os medidas de tendencial central e gerando dados de média e desvio padrão, por exemplo.

A escala Likert pode ser entendida como escala intervalar (GAIL e ARTINO, 2013). Se assim for considerada é preciso ter clareza sobre o que exatamente está sendo mensurado. Likert (1932) pressupõe

Tabela 4. Composição de fatores e itens de Ungku Fatimah (2013) e do presente estudo após AFE e AFC.

Ungku Fatimah (2014)

Presente estudo

AFEa

AFCb

Fatores

Itens correspondentes

Itens

Itens

F1 – Apoio dos gerentes e colaboradores

13,14,15,16,21,22,23,24,25,26

3,4,5,13,14,15,16

3, 4, 5, 13, 14, 15, 16

F2 – Comunicação

1,2,3,4,5,7

21,22,23,24,25,26

21,22,23,24,25,26

F3 – Auto comprometimento

8,9,10,11,12

9,10,11,12

17,18,19,20,27,28,29

F4 – Suporte do ambiente (ambiente favorável)

17,18,19,20

17,27,28,29

8,9,10,11,12

F5 – Pressão no trabalho

27,28,29

18,19,20

1,2,7

F6 – Julgamento baseado em risco

6,30,31

1,2,7,8

6,30,31

6,30,31

a Análise Fatorial Exploratória.

b Análise Fatorial Confirmatória.

que as distâncias entre cada um dos cinco pontos (discordo fortemente; discordo; neutro; concordo; concordo fortemente) são iguais e, por consequência o respondente que utilizasse a escala assim também consideraria. Porém, existem na literatura científica controvérsias há, no mínimo, 50 anos sobre as distâncias entre esses pontos da escala Likert (CARIFIO e PERLA, 2008), não havendo ainda um entendimento comum entre pesquisadores que fazem uso dessa escala em seus experimentos.

Callegaro (2008) destaca também que instrumentos utilizando a escala Likert sofrem a interferência na obtenção das respostas do viés da desejabilidade  social, definindo-a como a tendência de alguns entrevistados registrarem a resposta que consideram mais aceita socialmente, em detrimento daquela real e particular, na busca de proteger sua própria imagem, evitando rejeições ou imagem negativa. Esse comportamento pode levar qualquer estudo a uma situação de super notificação de comportamentos ou atitudes socialmente desejáveis, havendo de fato, subnotificação. O autor entende que a desejabilidade social é uma das causas de erro (viés) relacionadas ao respondente nesse tipo de abordagem (CALLEGARO, 2008).

É possível que no presente estudo o viés de desejabilidade tenha ocorrido, interferindo nos resultados? Acredita-se que sim. Em 2017, Jespersen, Maclaurin & Vlerick elaboraram um instrumento de mensuração para esse aspecto e constataram que avaliar o grau de desejabilidade social em um estabelecimento de alimentos pode contribuir para se obter resultados mais realistas e contextualizados em relação à CSA.

Outro aspecto importante quando do uso da escala Likert é o ponto ‘neutro’ ou “indiferente” que, conforme relata Gail & Artino (2013) pode ser interpretado pelo respondente ou como um posicionamento de fato neutro sobre a questão ou a forma de anular a mesma. Se levarmos em consideração o conceito de desejabilidade social e o conteúdo dos itens de Ungku Fatimah (2013) provavelmente o ponto neutro pode ter sido interpretado pelos participantes desta pesquisa como uma maneira de anular as afirmações. Considerando que os respondentes seguiram essa linha de raciocínio, o diagnóstico da CSA fica prejudicado, pois, ao criar um instrumento de mensuração o autor compõe um conjunto de itens que ele julga necessário para identificá-la. Apesar da frequência de respostas “indiferente” ter sido baixa (menor que 10%), poder-se-ia considerar que a inexistência desse ponto indicaria de forma mais direta ou objetiva o sentido e intensidade das respostas, o que facilitaria a caracterização de CSA. Ao mesmo tempo eliminar o ponto ‘neutro’ impediria ao respondente de optar, livremente, por não se posicionar frente determinada(s) afirmativa(s).

Por outro lado os respondentes do presente estudo podem ter optado por respostas genuínas e independentes, posicionando-se de forma neutra. Acredita-se que as discussões relativas ao uso de escala Likert ainda se mantém focadas no desconhecimento dos intervalos entre os pontos e a sua interferência de acordo com o objeto de mensuração.

No presente estudo os autores recomendam manter o ponto “neutro” e sempre realizar cuidadosa análise de vieses que podem ocorrer quando do uso de escalas Likert.

Na temática de CSA há divergências entre diferentes autores sobre o que significa, de que elementos é composta e como acontece em uma organização. Em outras palavras, cada indivíduo entende CSA de acordo com seus próprios valores, experiências e contexto. Histórias de vida, experiências sensíveis, conhecimento específico e o modo de ver e raciocinar sobre os fatos, entre outros aspectos, criam realidades próprias e particulares para cada um, seja o manipulador, lideranças, gestores e demais envolvidos com a SA em uma organização.

Nayak & Waterson (2017) afirmam que CSA está em constante mudança. Isso pode ser encarado como um estímulo à comunidade científica para a construção e pesquisa sobre essa variável latente presente nas organizações de alimentos, sabendo que os estudos relacionados à CSA são dinâmicos e mutáveis.

Teste de correlação de Spearman. O teste de correlação de Spearman foi aplicado para verificar associação entre as variáveis demográficas e os escores do instrumento de caracterização de CSA. Houve uma associação significante (p < 0,05) entre as variáveis “idade” (S = 0,150) e “experiência na área de alimentos” (S = 0,125) em relação ao escore dos fatores. O teste de correlação de Spearman mostrou que houve correlação significante entre as respostas sobre os fatores de CSA e as variáveis demográficas Idade e Experiência na Área de Alimentos. Ou seja, houve correlação positiva significante na medida em que se aumenta a idade e a experiência dos participantes da pesquisa. Assim, colaboradores mais velhos e com experiência anterior na área de alimentos apresentaram maior capacidade de influenciar positivamente a CSA. Não houve associação significativa entre as outras variáveis demográficas e as respostas sobre CSA.

 

CONSIDERAÇÕES FINAIS

  Sob essas condições e fatos, o presente estudo dedicou-se à validação de um instrumento de caracterização de CSA, viável em língua portuguesa do Brasil. A metodologia de adaptação e a validação do instrumento foi consistente e replicável. O instrumento é viável e útil para caracterizar a CSA em organizações que manipulam e comercializam alimentos.

AGRADECIMENTOS

O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Brasil (CAPES) – Código de Financiamento 001.

REFERÊNCIAS

BALL, B.; WILCOCK, A.; COLWELL, S. Tool For Measuring Food Safety Climate. Journal of Food Protection, United States, v. 73, p. 84, Jan. de 2010.

BORSA, J. C.; DAMÁSIO, B. F.; BANDEIRA, D. R. Adaptação e validação de instrumentos psicológicos entre culturas: algumas considerações. Paidéia, Ribeirão Preto, v. 22, n. 53, p.423-432, 2012. Disponível em: < doi:http://dx.doi.org/10.1590/1982-43272253201314>. Acesso em: 20 jul. 2017.

BOONE N. H., BOONE D.A. Analyzing Likert data. Journal of Extension, vol.50. n 2. 2012.

BRASIL. Ministério da Saúde. Surtos de doenças transmitidas por alimentos no Brasil – Informe 2018. 2019. Disponível em: < https://www.saude.gov.br/images/pdf/2019/maio/17/Apresentacao-Surtos-DTA-Maio-2019.pdf>. Acesso em: 23 maio 2020.

BRISLIN, R. W. Back-translation for cross-cultural research. Journal of Cross-Cultural Psychology, United States, v. 1, n 3, p. 185–216, 1970. Disponível em: < https://doi.org/10.1177/135910457000100301>. Acesso em: 22 set. 2018.

CALLEGARO, M. Social Desirability. In: LAVRASKAS, P. J. Encyclopedia of survey research methods. 1. ed. p. 1000. USA: SAGE Publications, 2008. Online ISBN: 9781412963947.

CARIFIO, J.; PERLA, R. Resolving the 50‐year debate around using and misusing Likert scales. Medical Education, United States, v. 42, n. 12, p. 1150-1152, 2008. Disponível em: <https://onlinelibrary.wiley.com/doi/full/10.1111/j.1365-2923.2008.03172.x>. Acesso em: 12 Ago. 2018.

DE BOECK, E.; JACXSENS, L.; BOLLAERTS, M.; VLERICK, P. Food safety climate in food processing organizations: development and validation of a self-assessment tool. Trends in Food Science & Technology, United States, 29 Set. de 2015. v. 46, n. 2, p. 242-251, 2015. Disponível em: <http://dx.doi.org/10.1016/j.tifs.2015.09.006>. Acesso em: 10 jun. 2017.

GAIL, M. S.; ARTINO, A. R. Analyzing and Interpreting Data From Likert-Type Scales. Journal of Graduate Medical Education, United States, Dez. de 2013. v. 5, n. 4, p. 541–542, 2013. Disponível em: <https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3886444/> Acesso em: 12 Ago. 2018.

GLOBAL FOOD SAFETY INITIATIVE (GFSI) A culture of food safety: a position paper from the global food safety initiative. France, FR: 2018. p. 54.

GRIFFITH, C. J.; LIVESEY, K. M.; CLAYTON, D. A. The assessment of food safety culture. British Food Journal, United Kingdom, v. 112, n. 4, p. 439–456, 2010a. Disponível em: <https://doi.org/10.1108/00070701011034448>. Acesso em: 22 Mai. 2017.

GRIFFITH, C. J.; LIVESEY, K. M.; CLAYTON, D. A. Food safety culture: the evolution of an emerging risk factor ? British Food Journal, United Kingdom, v. 112, n. 4, p. 426–438, 2010b. Disponível em: < https://doi.org/10.1108/00070701011034439> Acesso em: 22 Mai. 2017.

GRIFFITH, C. J.;  JACKSON, L. M.; LUES, R. The food safety culture in a large South African food service complex: perspectives on a case study. British Food Journal, United Kingdom, v. 119, n: 4, p.729-743, 2017. Disponível em: < http://dx.doi.org/10.1108/BFJ-11-2016-0533> Acesso em: 21 jun. 2017.

GUILLEMIN, F.; BOMBARDIER, C; BEATON, D. Cross-cultural adaptation of health-related quality of life measures : literature review and proposed guidelines. Journal Clinical Epidemiology, Great Britain, v. 46, n. 12, p. 1417–1432, 1993.

HAIR, J.; ANDERSON, R.; BABIN, B. Multivariate Data Analysis: a global perspective. 7. ed. Upper Saddle River: Prentice Hall, 2009. 785 p.

JESPERSEN, L.; MACLAURIN, T.; VLERICK, P. Development and validation of a scale to capture social desirability in food safety culture. Food Control, United States, v. 82, p.42-47, 2017. Disponível em: <http://dx.doi.org/10.1016/j.foodcont.2017.06.010> Acesso em: 01 out. 2018.

JESPERSEN, L.; GRIFFITHS, M.; MACLAURIN, T.; CHAPMAN, B.; WALLACE, C. A. Measurement of Food Safety Culture using Survey and Maturity Profiling Tools. Food Control, United States, v. 66, p. 174-182, 2016. Disponível em: <http://dx.doi.org/10.1016/j.foodcont.2016.01.030>. Acesso em: 21 jun. 2017.

KIREZIEVA, K.; JACXSENS, L.; HAGELAAR, G. J. L. F.; van BOEKEL, M. A. J. S.; UYTTENDAELE, M.; LUNING, P. A. Exploring the influence of context on food safety management: Case studies of leafy greens production in Europe. Food Policy. United States, v. 51, p. 158-170, 2015. Disponível em: < https://doi.org/10.1016/j.foodpol.2015.01.005> Acesso em: 22 Set. 2018.

LANDIS, J. R.; KOCH, G. G. The measurement of observer agreement  for categorical data. Biometrics, United States. v. 33, n. 1, p. 159-174. 1977. Disponível em: < https://www.jstor.org/stable/2529310>. Acesso em: 20 Jul. 2017.

LIKERT, R. A technique for the measurement of attitudes. Archives of Psychology, United States, v. 22, n. 140, p. 5-55, 1932. Disponível em: <http://psycnet.apa.org/psycinfo/1933-01885-001>. Acesso em: 14 Jun. 2018.

NAYAK, R.; WATERSON, P. The Assessment of Food Safety Culture: An investigation of current challenges, barriers and future opportunities within the food industry. Food Control. United States, v. 73, part B, p. 1114-1123, 2017. Disponível em: < http://dx.doi.org/10.1016/j.foodcont.2016.10.061> Acesso em: 09 dez 2017.

NEAL, J. A.; BINKLEY, M.; HENROID, D. Assessing factors contributing to food safety culture in retail food establishments. Food Protection Trends, United States, Ago. 2012. v. 32, n. 8, p. 468–476, 2012.

PETRUCCI, G. W.; BORSA, J. C.; DAMÁSIO, B. F.; KOLLER, S. H. Adaptation and preliminary validation evidences of the School Climate Questionnaire – Revised, Elementary and Middle School Version (SCS-MS). Psicologia: reflexão e crítica, Porto Alegre-BR, 20 Jun. 2016. v. 29, n. 25, 2016. Disponível em: <http://dx.doi.org/10.1186/s41155-016-0037-5 > Acesso 25 out. 2018.

POWELL, D. A.; JACOB, C. J.; CHAPMAN, B. J. Enhancing food safety culture to reduce rates of foodborne illness. Food Control, United States, v. 22, n. 6, p. 817–822, 2011. Disponível em: <http://dx.doi.org/10.1016/j.foodcont.2010.12.009>. Acesso em: 21 jun. 2017.

PRIETO, A. J. A Method for Translation of Instruments to Other Languages. Adult Education Quarterly, United States, 1 Mar. 2012. v. 43, n. 1, p. 1–14, 1992. Disponível em: < https://doi.org/10.1177/0741713692043001001>. Acesso em: 20 Set. 2012.

SEWARD, S.; DOBMEIER, N.; BARON, M. Assessing the food safety culture of a manufacturing facility. Institute of Food Technololy. United States, v. 66, n. 1, p. 44-47, 2012. Disponível em: < http://www.ift.org/Food-Technology/Past-Issues/2012/January.aspx>. Acesso em: 27 Set. 2018.

SILVA-ROCHA, V. V.; OSÓRIO, F. de L. Cross-cultural adaptation of the Sport Anxiety Scale-2 (SAS-2) for the Brazilian context. Trends in Psychiatry and Psychotherapy. Porto Alegre-BR, Set. de 2017. v. 39, n. 3, p. 202-206, 2017. Disponível em: <http://dx.doi.org/10.1590/2237-6089-2017-0027> Acesso em: 25 out. 2018.

TAYLOR, J. An exploration of food safety culture in a multi-cultural environment: next steps? Worldwide Hospitality and Tourism Themes, United Kindom, v. 3, n. 5, p. 455–466, 2011. Disponível em: < https://www.emeraldinsight.com/doi/full/10.1108/17554211111185836>. Acesso em: 20 Jan. 2017.

TAYLOR, J.; GARAT, J. P.; SIMREEN, S.; SARIEDDINE, G. An industry perspective: a new model of food safety culture excellence and the impact of audit on food safety standards. Worldwide Hospitality and Tourism Themes, United Kindom, v. 7, n. 1, p. 78–89, 2015. Disponível em: < https://www.emeraldinsight.com/doi/full/10.1108/WHATT-12-2014-0041>. Acesso em: 16 out. 2017.

UNGKU FATIMAH, U. Z. A. Measuring food safety culture : insights from onsite foodservice operations. 2013. 186 f. Dissertação (doutor em filosofia) – Iowa State University, 2013. Iowa, 2013.

WORLD HEALTH ORGANIZATION (WHO). Food safety. 2020. Disponível em: < https://www.who.int/news-room/fact-sheets/detail/food-safety>. Acesso em: 23 maio 2020.

WRIGHT, A. M. S.; LEACH, P.; PALMER, G. A tool to diagnose culture in food business operators: report from greenstreet berman ltd. for the Food Standards Agency. Boston: Greenstreet Berman Ltd, 2012. p. 1–110.

YIANNAS, F. Food safety culture: creating a behavior-based food safety management system. New York: Springer-Verlag, 2009. p. 96. eBook ISBN: 978-0-387-72867-4.

ZANON, R. B.; DA SILVA, M. A.; MENDONÇA FILHO, E. J. de; BANDEIRA, D. R.; SANTOS, M. A. dos; HALPERN, R.; BOSA, C. A. Brazilian study of adaptation and psychometric properties of the Coping Health Inventory for Parents. Psicologia: Reflexão e Crítica, Porto Alegre-BR, 01 Jun. de 2017. v. 30, n. 10, p. 1-10, 2017. Disponível em: <http://dx.doi.org/10.1186/s41155-017-0065-9 > Acesso em: 25 out. 2018.

The following two tabs change content below.
A Revista Higiene Alimentar é uma publicação técnico-científica com mais de 30 anos de existência. Publicada desde 1982, agora somos uma plataforma 100% digital.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *