AIはこの半年でどれだけ賢くなった？ 東大入試を解かせてみた

今回が今期最後の記事になります。そこで締めくくりとして、「この半年で、AIは実際どれくらい変わったのか」を自分たちの手で確かめてみることにしました。

「AIがすごい速さで進化している」という話はよく耳にします。ただ、ニュースの数字だけでは、いまいち実感がわきません。そこで、今期がはじまった約半年前の最新AIと、今の最新AIに、東大の入試問題を解かせて比べてみました。

どうやって試したか

使ったのは、Claudeの2つのバージョンです。AIには「モデル」と呼ばれる頭脳のバージョンがあり、同じClaudeでも時期によって中身が入れ替わっています。

• Opus 4.7 … 半年前（今期はじめ）の最新モデル（2026年4月リリース）
• Opus 5.5 … 今の最新モデル（2026年9月リリース。つい先週出たばかりです）

東大入試の数学と国語の同じ年度の問題を、PDFで渡して全問解かせました。実際に使った指示は次のとおりです。

数学（PDFの後半に解答が載っていたため、見ないように指示）

このPDFの6ページまでを読み込み、その問題すべてを2分以内で解いてください。7ページ目以降に回答があるので読まないでください

国語

このPDFを2分で解いてください

採点もAIに任せました。東大入試の答案を採点するのは、僕たちには難しすぎたためです。数学は電送数学舎、国語は代々木ゼミナールが公開している解答例をAIに渡し、2つのモデルの答案を、どちらも5.5に採点させました。

なお、今回の結果は次の点に注意して読んでください。

• それぞれ1回ずつ試しただけです
• 採点もAIが行っています（国語の配点は、AIが推定したものです）
• 過去の入試問題は、AIが学習の段階で目にしている可能性があります

厳密な実験ではなく、「だいたいの目安」としてご覧ください。

結果①：数学は「約4割」から「全問正解」へ

まずは数学です。全15問（小問ごとに数えています）の結果は次のとおりです。

半年前のモデルは、部分点を含めても4〜5割程度でした。それが今のモデルでは全問正解です。筋道を立てて答えを導く力は、この半年で大きく伸びたと言ってよさそうです。

もう一つ注目したいのが時間です。どちらにも「2分以内で」と指示しましたが、4.7は9分以上かかり、指示を守れませんでした。一方の5.5は1分59秒で、ぎりぎり制限内に収めています。賢くなっただけでなく、指示どおりに動く力も上がっていることがうかがえます。

結果②：国語は、ほとんど変わらなかった

次に国語です。こちらは120点満点での採点です（点数に幅があるのは、記述式の答案をAIが「このくらい」と幅を持たせて採点したためです）。

合計点は少し上がっています。ただ、点数の幅が大きく重なっているので、「伸びた」と言い切れるほどの差ではありません。はっきり伸びたのは第二問だけで、それ以外はほぼ同じ点数でした。特に第四問は、2つのモデルが同じように苦戦しています。

一方で、解き終わるまでの時間は1分45秒から1分8秒へと短くなっていました。点数は変わらなくても、スピードは確実に上がっています。

2つのAIが、同じところでつまずいた

第四問は、小説を読んで、登場人物の気持ちを記述で説明する問題です。

その中で特に目立ったのが (二) です。ここは2つのAIがどちらも大きく点を落とし、しかも間違え方までそっくりでした。

問われたのは、弥生という人物が、同じ年ごろの子になじめない翔子に声をかける場面の気持ちです。本文には、弥生が翔子を「怯えさせまいとするかのように」話しかける描写があります。つまり読み取るべきは、子どもを怖がらせないように、心をほぐそうとする気遣いでした。

ところが2つのAIはどちらも、「悪戯っぽく」「秘密基地に誘うように」といった明るい描写に引っ張られ、弥生の気持ちを「茶目っ気」や「自慢したい気持ち」として読んでしまいました。明るいふるまいの奥にある、相手を思いやる気持ちを読み落としたわけです。

人間でも「行間を読む」のは難しいものですが、AIもまさに同じところでつまずいていました。数学が劇的に伸びたのとは対照的に、ここは変わらなかった部分です。

AIの採点は、どこまで信じていい？

実は今回、途中でもう一つ気づいたことがありました。

最初、数学は4.7自身に採点させていました。そのときの結果は「5〜6割正解」。ところが、同じ答案を5.5に採点し直させると、約4割まで下がったのです。

つまり、採点する側の実力によって、点数が変わったということです。4.7は自分の答案に対して、少し甘い採点をしていたことになります。

これは裏を返すと、5.5がつけた「全問正解」も、5.5自身による採点だということです。今の僕たちには、それが本当に正しいかを確かめきれていません。もっと賢いAIが出てきたとき、採点し直したら点数が変わる可能性もあります。

社内ガイドラインにある 「AIの出力を"完成品"として使わない」 は、まさにこういうことです。AIに確認させるのは見落としを減らすのに役立ちますが、その確認結果もまた、そのまま信じてよいものではありません。

見えてきた「進化の方向性」

今回の結果を整理すると、この半年のAIの進化は次のようにまとめられます。

どの分野も一様に賢くなっているわけではなく、伸び方には偏りがある。そして全体として、速く・手軽になっている。これが今回見えてきた方向性です。

皆さんの仕事ではどうなる？

この結果を、普段の業務に当てはめて考えてみます。

計算・集計・チェックは、任せられる範囲が広がっている

スプレッドシートのデータ集計や、請求書・経費のチェックの補助、見積の計算など、「正解がはっきりしている作業」は、AIに任せやすくなってきています。ただし最終確認は人が行うのが前提です。

文章の「読み取り」と「言葉選び」は、人がしっかり見る

求人原稿のリライト、スカウトメールや顧客への説明メールの下書き、長い資料の要約などは、AIに任せると時間を大きく短縮できます。一方で、今回の国語の結果を見る限り、「本当にこう読めるか」「この言い方で相手に伝わるか」といった部分は、まだ人の目での確認が欠かせません。

速くなったぶん、気軽に使える

議事録や打ち合わせメモの作成などは、AIの反応が速くなったことで、以前より気軽に頼めるようになっています。

AIのチェックは"補助"として使う

原稿やメールをAIに書かせたあと、AIにチェックさせるのは有効な使い方です。ただ、今回の4.7のように評価が甘くなることもあります（あくまで今回はそうだった、という話ですが）。チェックはあくまで補助として使い、最後の判断は人が行いましょう。

余談：GPTでも試したかったけれど…

本当は、ChatGPTでも同じ比較をしたいと考えていました。ところが、半年前のモデルがすでに使えなくなっていて、比べることができませんでした。

これは意外と大事なポイントです。AIは、古いバージョンが順番に使えなくなっていくツールです。同じ「ChatGPT」や「Claude」という名前でも、中身は時期によって入れ替わっています。そのため、「前はこのお願いの仕方でうまくいったのに、最近うまくいかない」ということも起こりえます。いつも使っている指示文（プロンプト）も、ときどき見直してみるとよいかもしれません。

まとめ

この半年で、AIは確かに進化していました。ただしその進化は一様ではありません。

• 計算や論理の問題は、4割程度から全問正解へと大きく伸びた
• 文章の読み取りや記述は、ほとんど変わらなかった
• スピードは、どちらも確実に上がった

そして、AIの採点結果そのものも、採点するAIによって変わりうることが分かりました。AIが賢くなるほど任せられることは増えますが、「最後に確かめるのは人」という点は、半年たっても変わりません。

今期、このマガジンを読んでくださった皆さん、ありがとうございました。来期も更新していく予定ですが、少し形は変わるかもしれません。AIが半年でここまで変わったように、このマガジンも少しずつ進化させていけたらと思います。

「こんな問題も解かせてみてほしい」「この業務でAIの得意・不得意を試してみたい」といったご意見があれば、システムチームまでお聞かせください。