はじめに
今回の英検要約問題をめぐる報告には、少なからず戸惑いを感じています。
私たちは、AIによる採点に頼りすぎたことに原因があるのではないかと考えています。その可能性については、後ほど<0点報告と、一つの仮説>で具体的に説明します。
また、多くの受験者が不安の声を上げている一方で、実施団体である日本英語検定協会から十分な説明がなされていない点も気になります。
実際、協会に問い合わせた方々が、その回答をSNSで紹介していますが、形式的な文面が多く、受験者の疑問に十分応えているとは言いにくい状況です。
今回の問題は主に準1級・1級で起きており、幸い当塾の今回の受験生(最高級は2級)には直接の影響はありませんでした。
しかし、だからといって他人事とは言えません。
当塾は創立以来12年以上、英検の準会場として塾内外の受験者を受け入れてきました。
そうした立場だからこそ、今回の件について率直に発信することが大切だと考えています。
結論から申し上げますと、私たちは何よりも生徒に対して誠実であることを優先します。
私たちが考えている点
違和感を覚えているのは、「採点が厳しいこと」そのものではありません。
問題は、その評価のプロセスが見えにくいことです。
要約問題は「内容」「構成」「語彙」「文法」の4つの観点で採点されますので、仮に語数違反があった場合、「構成」で大きく減点されるのは理解できます。
しかし、他の観点まで連動して0点になるというのは、どういう採点基準なのでしょうか。
4つの観点には、それぞれ独立した意味があるはずです。
また、語数制限を守っていたにもかかわらず0点だったという報告もあります。
この場合、書く力がゼロと評価されたのか、あるいは語数以外のルール違反によるペナルティーなのか、受験者には判断がつきません。
採点の考え方については、もう少し丁寧な説明があってほしいところです。
資格試験として
英検は、単なる民間試験ではなく、入試や単位認定にも関わる大切な資格試験です。
だからこそ、生徒たちは限られた時間の中で、一生懸命準備し、真剣に答案を書いています。
その努力が正当に評価されず0点になるのなら、理由はきちんと知りたいものです。
もし採点方法に改善の余地があるのなら、それを認めて説明してもらうことが、試験への信頼につながるでしょう。
もちろん、試験運営にはさまざまな制約があるでしょう。それでも、受験者や保護者の不安には、誠実に向き合ってほしいと感じます。
私たちは英検そのものを否定するわけではありません。
長年準会場として関わってきたからこそ、生徒が安心して挑戦できる、信頼される試験であってほしいと考えています。
努力が正しく評価されること。
その原則が大切にされることを、心から願っています。
0点報告と、一つの仮説
特に気になったのは、「語数を守ったのに0点だった」という報告です。
語数違反であれば厳しい減点も理解できます。しかし、語数を守っていて0点が出るのなら、他に要因があると考えるのが自然ではないでしょうか。
そこで、一つの単純な仮説を考えてみました。
「もしかして、語数が正確にカウントされていないだけでは?」
生成AIは、数える作業が必ずしも得意ではないと言われています。AIで文章の語数を数えたことがありますが、日本語・英語ともに二桁の誤差が出ることもあります。
そこで今回、ジョン・レノンの imagine の歌詞で簡単な検証を行いました。
著作権の関係で歌詞は掲載しませんが、確認には十分な長さです(正確な語数把握のために、オフィスソフトも使用しました)。
自分で数えたところ:127語
オフィスソフト:127語
AI①:142語(短縮形を1語として)/148語(短縮形を分けてカウント)
AI②:約146語
いずれも20語前後の差が出ています。特にAI②では「約」という表現が使われており、興味深いところです。
高度なAIでも、語数を数えるだけで誤差が出ることがある。この点は、まず冷静に受け止める必要があります。
英検がどのような方法で語数を確認しているのかは公表されていません。ただ、もし自動処理の結果をそのまま使っていたとすれば、問題はAIそのものではなく、その運用にあるのかもしれません。
人の目で最終確認が行われていれば、「0点が多すぎる」という状況に気づき、見直しにつながったかもしれないからです。
もちろん、これは一つの可能性にすぎません。だからこそ、確認の方法について、分かりやすく示されるとよいのではないかと思います。
皮肉にも思える状況
これまで英検1級の2次スピーチなどでは、
「人類はテクノロジーに依存しすぎていると思うか?」
といった、AIやスマホなど身近なテクノロジーとの関わりを考えるテーマが出題されたことがあります。
もし今回の混乱がテクノロジーの使い方に関係しているとすれば、過去の出題テーマと重なり、少し皮肉に感じられます。
私たちはこれまで、生徒にこう伝えてきました。
「英検は、努力が結果につながりやすい、意義のある試験だ」と。
語彙を増やし、表現を磨き、書く練習を重ねれば、その積み重ねが着実に点数に反映される。そう信じて指導してきました。
だからこそ、今回の件には戸惑いを覚えています。
努力して書いた答案が、理由の見えにくい形で0点になる可能性があるとすれば、受験者にとって大きな不安につながるでしょう。
現在の英検は、単なる合否判定にとどまらず、点数そのものが入試や推薦条件にも活用されています。
だからこそ、採点の透明性や丁寧な説明は、以前にも増して重要になっていると思われます。
最後に
ここまで述べたことは、あくまで一つの可能性に基づく問題提起です。
もし関係者の方がこの文章をご覧になっていて、事実と異なる点があれば、具体的にご説明いただければ、私たちの不安も和らぎます。
私たちは対立を望んでいるのではありません。
ただ、生徒が積み重ねてきた努力が、正しく納得できる形で評価される仕組みであってほしい。それだけです。
努力が報われるという信頼があってこそ、生徒は次の挑戦へと踏み出せるのです。
その信頼を守るためにも、誠実な説明と必要な見直しが行われることを、心から期待しています。
