Skip to main navigation menu Skip to main content Skip to site footer

Articles

Vol. 7 No. 3 (2020): Brazilian Journal of Empirical Legal Studies

Towards an agenda of empirical legal research on the psychology of judicial decision-making on Brazil

DOI
https://doi.org/10.19092/reed.v7i3.415
Submitted
May 5, 2019
Published
2020-09-07

Abstract

Commonplace research strategies in the areas of Experimental Psychology and Behavioral Economics have been used in the last twenty years to investigate whether extrajudicial variables influence the judicial decision-making process. These studies show that personal issues, time and workload constraints, and the existence of cognitive biases and unconscious stereotypes may interfere with the outcome of cases, and thus can be problematic in the light of normative ideals of justice. However, empirical research in Judgment and Decision making applied to judicial contexts is still poorly known by the Brazilian legal community. In this review, we present a balance of the methodologies used in recent studies, as well as their limitations and challenges. With this critical survey, we aim to stimulate the diffusion of these research strategies in the institutional reality of the Brazilian Judiciary.

References

  1. Almeida, G.P. & Cestari, R. (2016). Fatores extrajurídicos na tomada de decisão judicial: uma abordagem preliminar. In Nojiri, S. (Ed.). Direito, Psicologia e Neurociência. 1ª ed. Ribeirão Preto/SP: Editora IELD, p. 169–185.
  2. Almeida, G.P. & Nojiri, S. (2018) Como os juízes decidem os casos de estupro? Analisando sentenças sob a perspectiva de vieses e estereótipos de gênero. Revista Brasileira de Políticas Públicas. Vol. 8, n.2, p. 826-853.
  3. Arantes, R.B. (1997) Judiciário e política no Brasil. São Paulo, Idesp/Sumaré.
  4. Araújo, M.M. (2017). Comportamento estratégico no Supremo Tribunal Federal. Tese (Doutorado em Ciência Política), Universidade Federal de Minas Gerais, Belo Horizonte.
  5. Arguelhes D.W. & Ribeiro LM. (2015). O Supremo individual: mecanismos de atuação direta dos Ministros sobre o processo político. Direito, Estado e Sociedade, Rio de Janeiro, n. 46, p. 121-155.
  6. Baron, J. (2008). Thinking and Deciding. 4th ed. Cambridge: Cambridge University Press.
  7. Benvindo J.Z. & Costa A.A. (2013). A quem interessa o controle concentrado de constitucionalidade? o descompasso entre teoria e prática na defesa dos direitos fundamentais. Relatório de pesquisa. Disponível em: https://goo.gl/13ktUk
  8. Berdejó, C. & Chen, D. L. (2017) Electoral Cycles among US Courts of Appeals Judges. The Journal of Law and Economics, 60(3), p. 479-496.
  9. Braman, E. (2017). Cognition in the Courts: Analyzing the Use of Experiments to Study Legal Decision-Making. In: Epstein, Lee & Lindquist, Stephanie A. The Oxford Handbook of U.S. Judicial Behavior. New York: Oxford University Press.
  10. Black, R.C.; Boyd, C.L.; Bryan A.C. (2014). Revisiting the Influence of Law Clerks on the U.S. Supreme Court's Agenda-Setting Process. Marquette Law Review, 98(1), p. 75-109.
  11. Blair, I.V.; Judd, C. M.; Chapleau, K. M. (2004). The Influence of Afrocentric Facial Features in Criminal Sentencing. Psychological Science, 15(10), 674-679.
  12. Bonica, A.; Chilton, A.; Goldin, J.; Rozema, K.; Sen, M. (2018) Legal Rasputins? Law Clerk Influence on Voting at the U.S. Supreme Court. Disponível em: https://ssrn.com/abstract=2815545 ou http://dx.doi.org/10.2139/ssrn.2815545
  13. Boyd, C. L.; Epstein, L.; Martin, A. (2010). Untangling the Causal Effects of Sex on Judging. American Journal of Political Science, Vol. 54, No. 2, p. 389-411.
  14. Bybee, K. J. (2012) Paying Attention to What Judges Say: New Directions in the Study of Judicial Decision Making. Annual Review of Law and Social Science, Vol. 8, p. 69-84.
  15. Casler K.; Bickel L.; Hackett E. (2013). Separate but equal? A comparison of participants and data gathered via Amazon’s MTurk, social media, and face-to-face behavioral testing. Computers in Human Behavior, 29, 2156-2160.
  16. Castro, M.F. (1997). O Supremo Tribunal Federal e a Judicialização da Política. Revista Brasileira de Ciências Sociais. São Paulo, v. 12, n.34, p. 147-156.
  17. Chen, D. L. & Spamann, Holger (2016) This Morning's Breakfast, Last Night's Game: Detecting Extraneous Factors in Judging. IAST Working Papers 16-49, Institute for Advanced Study in Toulouse (IAST). Disponível em: https://ideas.repec.org/p/tse/iastwp/31020.html
  18. Chen, D. L. & Philippe, A. (2018) Clash of norms: Judicial leniency on defendant birthdays. TSE Working Papers 18-934, Toulouse School of Economics (TSE). Disponível em: https://ideas.repec.org/p/tse/wpaper/32763.html
  19. Chen, D. L.; Cui, X.; Shang, L.; Zheng, J. (2018) What Matters: Agreement between U.S. Courts of Appeals Judges. Journal of Machine Learning Research, No prelo. Disponível em: https://ssrn.com/abstract=2928118 ou http://dx.doi.org/10.2139/ssrn.2928118
  20. Cho, K.; Barnes, C. M.; Guanara, C. L. (2017) Sleepy Punishers Are Harsh Punishers: Daylight Saving Time and Legal Sentences. Psychological Science, Vol. 28, n. 2, p. 242–247.
  21. Cohen, A. & Yang, C. S. (2019) Judicial Politics and Sentencing Decisions. American Economic Journal: Economic Policy.
  22. Costa, A. A. (2013) Judiciário e Interpretação: Entre Política e Direito. Pensar (UNIFOR), v. 18, n. 1, p. 9-46.
  23. Costa, A. A. & Costa, H.A. (2018) Evolução do perfil dos demandantes no controle concentrado de constitucionalidade realizado pelo STF por meio de ADIs e ADPFs. Revista de Ciências Sociais (UFC), v. 49, p. 133-179.
  24. Costa, E.J.F. (2016). Levando a Imparcialidade a Sério: proposta de um modelo interseccional entre direito processual, economia e psicologia. Tese (Doutorado em Direito). São Paulo: Pontifícia Universidade Católica de São Paulo.
  25. Costa Jr., P.A. (2018). O continente e as 11 ilhas: A mudança institucional endógena e o lugar do Supremo Tribunal Federal na arena política. Tese (Doutorado em Ciência Política). Belo Horizonte: Universidade Federal de Minas Gerais.
  26. Costa, L.L.F; Esteves, A.B.D.; Kreimer, R.; Struchiner, N.; Hannikainen, I. R. (2018) Gender Stereotypes Underlie Child Custody Decisions. European Journal of Social Psychology. 00, p. 1-12.
  27. Danziger, S.; Levav, J.; Avnaim-Pesso, L. (2011a). Extraneous factors in judicial decisions. Proceedings of the National Academy of Sciences, 108(17), 6889-6892.
  28. Danziger, S.; Levav, J.; Avnaim-Pesso, L. (2011b). Reply to Weinshall-Margel and Shapard: Extraneous factors in judicial decisions persist. Proceedings of the National Academy of Sciences, 108(42), E834.
  29. Desposato, S.; Ingram, M. C.; Lannes Jr., O. P. (2014). Power, Composition, and Decision Making: The Behavioral Consequences of Institutional Reform on Brazil’s Supremo Tribunal Federal. The Journal of Law, Economics, and Organization, Vol. 31, No. 3, p. 534-567.
  30. Dhami, M. K. & Ayton, P. (2001) Bailing and Jailing the Fast and Frugal Way. Journal of Behavioral Decision Making, 14, 141-168.
  31. Dhami, M. K. (2003) Psychological Models of Professional Decision Making. Psychological Science, 14(2), 175-180.
  32. Dhami, M.K. & Belton, I. (2017) On getting inside the judge's mind. Translational Issues in Psychological Science, 3(2), p. 214-226.
  33. Diniz, D. & Guerreiro, I.C.Z. (2008) Ética na pesquisa social: desafios ao modelo biomédico. Revista Eletrônica de Comunicação Informação & Inovação em Saúde (RECIIS), Rio de Janeiro, v.2, Sup.1, p.Sup.78-Sup.90 DOI: 10.3395/reciis.v2.Sup1.211pt
  34. Diniz, D. (2010). A pesquisa social e os comitês de ética no Brasil. In: Fleischer, Soraya e Schuch, Patrice (Orgs.) Ética e regulamentação na pesquisa antropológica. Brasília: Letras Livres / Editora UnB, p. 183-192.
  35. Englich, B.; Mussweiler, T.; Strack, F. (2006) Playing Dice With Criminal Sentences: The Influence of Irrelevant Anchors on Experts’ Judicial Decision Making. Personality and Social Psychology Bulletin, 32(188) 188-200.
  36. Epstein, L.; Landes, W.M.; Posner, R.A. (2013). The Behavior of Federal Judges – a theoretical and empirical study of rational choice. Cambridge: Harvard University Press.
  37. Evans, J.S.B.T. & Stanovich, K. E. (2013) Dual-process theories of Higher Cognition: Advancing the Debate. Perspectives on Psychological Science. 8(3), 223–241.
  38. Ferreira, P.F.A.N. & Mueller, B. (2014) How judges think in the Brazilian Supreme Court: Estimating ideal points and identifying dimensions. EconomiA, Vol. 15, p. 275-293.
  39. Fornara, M.T. & Carvalho, A.D.Z. (2018) Os Juízes na Pauta do Supremo: A Atuação da Associação dos Magistrados Brasileiros no Controle Concentrado de Constitucionalidade. Revista de Ciências Sociais, Fortaleza, v. 49, n. 2, p. 245–296.
  40. Frank, J. (1949). Courts on Trial: Myth and Reality in American Justice. Princeton: Princeton University Press.
  41. Frederick S. (2005). Cognitive Reflection and Decision Making. The Journal of Economic Perspectives, 19(4), p. 25-42.
  42. Furgeson, J.R.; Babcock, L.; Shane, P.M. (2008). Behind the Mask of Method: Political Orientation and Constitutional Interpretive Preferences. Law and Human Behavior, 32, 502-510.
  43. Gigerenzer, G. (2009). O Poder da Intuição. Rio de Janeiro: BestSeller.
  44. Glynn, A. N. & Sen, M. (2015). Identifying Judicial Empathy: Does Having Daughters Cause Judges to Rule for Women’s Issues? American Journal of Political Science, 59(1), 37-54.
  45. Glöckner, A. (2016). The irrational hungry judge effect revisited: Simulations reveal that the magnitude of the effect is overestimated. Judgment and Decision Making, 11(6), p. 601-610.
  46. Gomes, J.C.A.; Nogueira, R.; Arguelhes, D.W. (2018) Gênero e comportamento judicial no supremo tribunal federal: os ministros confiam menos em relatoras mulheres? Revista Brasileira de Políticas Públicas. Vol. 8, n.2, p. 856-876.
  47. Grezzana, S. & Ponczek, V. (2012) Gender Bias at the Brazilian Superior Labor Court. Brazilian Review of Econometrics, Vol. 32, n. 1, p. 73-96.
  48. Guthrie, C.; Rachlinski, J.J.; Wistrich, A.J. (2001) Inside the Judicial Mind. Cornell Law Review, 86, 777-830.
  49. Guthrie, C.; Rachlinski, J.J.; Wistrich, A.J. (2007) Blinking on the Bench: How Judges Decide Cases. Cornell Law Review, 93, 1-44.
  50. Harmon-Jones, E. & Harmon-Jones, C. (2007) Cognitive Dissonance Theory after 50 Years of Development. Zeitschrift für Sozialpsychologie, Vol. 38, n. 1, p. 7–16.
  51. Harris, A. P. & Sen, M. (2019) Bias and Judging. Annual Review of Political Science, Vol. 22.
  52. Hartmann, I.A. & Chada, D. (2015). A Razão Sem Condições de Qualidade In: Vilhena, O. (Org.). Coletânea Organizada pela FGV Direito São Paulo com trabalhos que discutem o artigo "A Razão Sem Voto: O Supremo Tribunal Federal e o Governo da Maioria", de Luís Roberto Barroso. 2015. Disponível em: https://ssrn.com/abstract=2689294
  53. Henrich, J.; Heine, S.J.; Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33, p. 61-135.
  54. Horta R.L. & Costa A.A. (2017). Das teorias da interpretação à Teoria da Decisão: por uma perspectiva realista acerca das influências e constrangimentos sobre a atividade judicial. Revista Opinião Jurídica, 15(20), p. 271-297.
  55. Kahan, D.M.; Hoffman, D.A.; Braman, D.; Evans, D.; Rachlinski, J.J. (2012). ‘They Saw a Protest’: Cognitive Illiberalism and the Speech-Conduct Distinction, Stanford Law Review, 64(4), p. 851-906.
  56. Kahan, D.M.; Hoffman, D.; Evans, D.; Devins, Neal; Lucci E.; Cheng K. (2016) “Ideology” or “Situation Sense”? An Experimental Investigation of Motivated Reasoning and Professional Judgment. University of Pennsylvania Law Review. Vol. 164, p. 349-439.
  57. Kahneman, D. (2012) Rápido e Devagar – Duas formas de pensar. Rio de Janeiro: Objetiva.
  58. Kapiszewski, D. (2011) Tactical Balancing: High Court Decision Making on Politically Crucial Cases. Law & Society Review. Vol. 45, n. 2, p. 471-506.
  59. Kassin, S. M.; Dror, I. E.; Kukucka, J. (2013). The forensic confirmation bias: Problems, perspectives, and proposed solutions. Journal of Applied Research in Memory & Cognition, Vol. 2, p. 42-52.
  60. Kneer, M. & Burgeois-Gironde, S. (2017). Mens rea ascription, expertise and outcome effects: Professional judges surveyed. Cognition. Vol. 169, December, p. 139-146.
  61. Koerner, A. (2007) Instituições, Decisão Judicial e Análise do Pensamento Jurídico: o Debate Norte-Americano. Revista Brasileira de Informação Bibliográfica em Ciências Sociais – BIB. n. 63, p. 61-87.
  62. Kromphardt, C. D. (2017). Evaluating the Effect of Law Clerk Gender on Voting at the United States Supreme Court. Justice System Journal, 38 (2), p. 183-201.
  63. Leal, F. & Ribeiro, L.M. (2018) Heurística de ancoragem e fixação de danos morais em juizados especiais cíveis no Rio de Janeiro: uma nova análise. Revista Brasileira de Políticas Públicas. Vol. 8, n.2, p. 778-799.
  64. Lempert, K.M. & Phelps, E.A. (2014). Elizabeth A. Neuroeconomics of Emotion and Decision Making. In: Glimcher, P.W. & Fehr, E. Neuroeconomics – Decision Making and the Brain. 2nd edition. London: Academic Press.
  65. Lilenfeld, S.O.; Ammirati R.; Landfield K. (2009) Giving Debiasing Away: Can Psychological Research on Correcting Cognitive Errors Promote Human Welfare? Perspectives on Psychological Science. Vol. 4, n. 4, p. 390-398.
  66. Llanos, M. & Lemos, L. (2013) Presidential Preferences? The Supreme Federal Tribunal Nominations in Democratic Brazil. Latin American Politics and Society , v. 55, p. 77-105.
  67. Lopes, F. M. (2018) Dissent Aversion and Sequential Voting in the Brazilian Supreme Court. Disponível em: https://ssrn.com/abstract=3198330 ou http://dx.doi.org/10.2139/ssrn.3198330
  68. Mariano Silva, J. (2018) Mapeando o Supremo: As posições dos ministros do STF na jurisdição constitucional (2012-2017). Novos Estudos CEBRAP. Vol. 37, n. 1, p. 35-54.
  69. Mello, P.P.C. (2015) Nos bastidores do STF. Rio de Janeiro: Forense.
  70. Mendes, C.H. Onze ilhas. Folha de S. Paulo, 1º fev. 2010.
  71. Melnikoff, David E. & Bargh, John A. (2018) The Mythical Number Two. Trends in Cognitive Sciences. Vol. 22, n. 4, p. 280-293.
  72. Mercier H. & Sperber D. (2017) The Enigma of Reason – A New Theory of Human Understanding. London: Allen Lane.
  73. Mugg, J. (2015). The dual-process turn: How recent defenses of dual-process theories of reasoning fail. Psylosophical Psychology. DOI: 10.1080/09515089.2015.1078458
  74. Munafò M.R.; Nosek B.A.; Bishop D.V.M.; Button, K.S.; Chambers, C.D.; Percie du Sert N.; Simonsohn U.; Wagenmakers E.J.; Ware J.J.; Ioannidis J.P.A. (2017) A manifesto for reproducible science. Nature Human Behaviour. Vol. 1, n. 21, p. 1-9.
  75. Nadler, J. & McDonnell, M. (2012) Moral Character, Motive, and the Psychology of Blame, Cornell Law Review, 97(255) 255-304.
  76. Nadler, J. & Mueller, P.A. (2017) Social Psychology and the Law. In: Parisi, F. (Ed.). The Oxford Handbook of Law and Economics. Oxford: Oxford University Press.
  77. Nickerson, R. S. (1998) Confirmation Bias: A Ubiquitous Phenomenon in Many Guises. Review of General Psychology, Vol. 2, n. 2, p. 175-220.
  78. Nisbett, R.E.; Wilson, T.D.C. (1977) Telling more than we can know: verbal reports on mental processes. Psychological Review. 84(3), 231-259.
  79. Nojiri, S. (2017) Por trás das decisões de juízes: algumas breves considerações sobre modelos de decisão judicial. In: Veloso, Roberto Carvalho; Silva, Fernando Quadros da (Org.). Justiça Federal: estudos doutrinários em homenagem aos 45 anos da AJUFE. 1ª ed. Belo Horizonte: D'Plácido, p. 313-324.
  80. Oliveira, F.L. (2012a) Processo decisório no Supremo Tribunal Federal: Coalizões e “Panelinhas”. Revista de Sociologia e Política, Vol. 20, n. 44, p. 139-153.
  81. Oliveira, F.L. (2012b) Supremo Relator: Processo decisório e mudanças na composição do STF nos governos FHC e Lula. Revista Brasileira de Ciências Sociais. Vol. 27 n° 80, p. 89-115.
  82. Oliveira, F.L. (2017a) O Supremo Tribunal Federal e a política no Brasil contemporâneo. Cadernos Adenauer, Vol. XVIII, n. 1, p. 125-148.
  83. Oliveira, F.L. (2017b) Quando a corte se divide: coalizões majoritárias mínimas no Supremo Tribunal Federal. Revista Direito e Práxis. Vol. 08, n. 3, p.1863-1908.
  84. Peppers, T. C.; Giles, M. W.; Tainer-Parkins, B. (2014). Surgeons or Scribes? Te Role of United States Court of Appeals Law Clerks in "Appellate Triage". Marquete Law Review, Vol. 98, p. 313-332.
  85. Posner, R.A. (2013). Reflections on Judging. Cambridge: Harvard University Press.
  86. Pronin, Emily (2009). The introspection illusion. In: Zanna, M.P. (Ed.) Advances in experimental social psychology, Vol. 41, p. 1-68. San Diego, CA, US: Elsevier Academic Press.
  87. Rachlinski, J.J.; Johnson, S.L.; Wistrich, A.J.; Guthrie, C. (2009) Does unconscious racial bias affect trial judges? Notre Dame Law Review. 834(3), 1195-1246.
  88. Rachlinski, J.J.; Wistrich, A.J.; Guthrie, C. (2013) Altering Attention in Adjudication. UCLA Law Review, 60, 1586-1618.
  89. Rachlinski, J.J. & Wistrich, A.J. (2017) Judging the Judiciary by the Numbers: Empirical Research on Judges. Annual Review of Law and Social Science. Vol. 13, p. 203-229.
  90. Ribeiro, L. & Arguelhes, D.W. (2013). Preferências, Estratégias e Motivações: Pressupostos institucionais de teorias sobre comportamento judicial e sua transposição para o caso brasileiro. Revista Direito e Práxis. Vol. 4 (7), 85-121.
  91. Sadek, M.T. (1995) A Crise do Judiciário Vista pelos Juízes: resultados da pesquisa quantitativa. São Paulo: Sumaré.
  92. Schauer, F. (2010). Is There a Psychology of Judging? In: Klein, D. & Mitchell G. (eds.). The Psychology of Judicial Decision-Making. New York: Oxford University Press, p. 103-120.
  93. Silva M.L. & Horta, R.L. (2017) O racismo do sistema penal na perspectiva da Psicologia Experimental – diálogos possíveis com a Criminologia. Revista Brasileira de Ciências Criminais. Vol. 25, p. 417-445.
  94. Silva M.L. (2019). Punindo as diferenças: Gênero, raça e geração no sentenciamento de tráfico de drogas na cidade de São Paulo. Dissertação (Mestrado em Direito). Brasília: Universidade de Brasília.
  95. Sood, A.M. (2013) Motivated Cognition in Legal Judgments – An Analytic Review. Annual Review of Law and Social Science, 9, 307-325.
  96. Spamann, H. & Klöhn, L. (2016) Justice Is Less Blind, and Less Legalistic, than We Thought: Evidence from an Experiment with Real Judges. The Journal of Legal Studies, 45(2), 255-280.
  97. Spamann, H. (2018) Are Sleepy Punishers Really Harsh Punishers? Comment on Cho, Barnes, and Guanara (2017). Psychological Science, 29 (6), p. 1006-1009.
  98. Spear, J. H. (2007) Prominent schools or other active specialties? A fresh look at some trends in psychology. Review of General Psychology, 11(4), 363-380.
  99. Struchiner, N. & Brando, M. S. (2014) Como os juízes decidem os casos difíceis do direito? In: Struchiner, N. & Tavares, R.S. Novas Fronteiras da Teoria do Direito: da Filosofia Moral à Psicologia Experimental. Rio de Janeiro: PUC-Rio.
  100. Sunstein, C. et al. (2006) Are Judges Political? An Empirical Analysis of the Federal Judiciary. Washington, D.C.: Brookings Institution Press.
  101. Tavares, R.S. & Hannikainen, I.R. (2018). Casos de revirar o estômago: evidências preliminares do nojo como fator de influência nas decisões judiciais. Revista de Estudos Empíricos em Direito. Vol. 5, n.1, p. 67-78.
  102. Thaler, R. (2016). Comportamento Inadequado: A Construção da Economia Comportamental. Lisboa: Actual.
  103. Teichman, D. & Zamir, E. (2014). Judicial Decision-Making: a Behavioral Perspective. In: Teichman, D. & Zamir, E. (eds.) Behavioral Economics and the Law. Oxford: Oxford University Press.
  104. Veronese, A.; Cipriano, N.P.; Gonçalves, N.W. Wagner; Oliveira, P.C. (2017). Vida de Assessor: As funções de Assessoria Judiciária em Tribunais Superiores no Brasil e nos Estados Unidos em Perspectiva Comparada. Contemporânea, Vol. 7, n.2, p. 365-390.
  105. Vianna, L.F.; Burgos, M.B.; Salles, PM. (2007) Dezessete anos de judicialização da política. Tempo social, vol.19, n.2, pp. 39-85.
  106. Vieira, O.V. (2008) Supremocracia. Revista Direito GV. Vol. 4, n. 2, p. 441-464.
  107. Walker, S.; Spohn, C.; Delone, M. (2012) The Color of Justice: Race, Ethnicity and Crime in America. 5th ed. Belmont, California: Wadsworth, Cengage Learning.
  108. Ward, A. (2017). Law Clerks. In: Epstein, L. & Lindquist, S. A. The Oxford Handbook of U.S. Judicial Behavior. New York: Oxford University Press.
  109. Weinshall-Margel , K. & Shapbard, J. (2011). Overlooked factors in the analysis of parole decisions. Proceedings of the National Academy of Sciences, 108(42), E833.
  110. Wiener, R.L.; Krauss, D.A.; Lieberman, J.D. (2011). Mock Jury Research: Where do we go from here? Behavioral Sciences and the Law, 29, 467-479.
  111. Wistrich, A.J., Rachlinski, J.J.; Guthrie, C. (2014) Heart versus Head: Do Judges Follow the Law or Follow Their Feelings? Texas Law Review, 93, 855-923.
  112. Zimerman, D. (2008) A influência dos fatores psicológicos inconscientes na decisão jurisdicional – a crise do magistrado. In: Zimerman, D.; Coltro, A.C.M. (orgs). Aspectos psicológicos da prática jurídica. 2ª ed. Campinas: Millenium.

Downloads

Download data is not yet available.