自動化すべきでない時: 何かを作る前に使う判断ルール

私は現在稼働させている数より多くの自動化を削除してきました。壊れたからではありません。完璧に機能して、しかし物事を悪化させたからです。

この一文はじっくり考える価値があります。「すべてを自動化せよ」派が決して触れない核心だからです。信頼性高く動作し、仕事の質を下げる自動化は、生産性の勝利ではありません。勝利に見える負債です。これを見抜ける唯一の兆候は、数週間後になって、自分が生み出しているアウトプットの質が静かに落ちていることに気づくこと、そしてその自動化が劣化を覆い隠していたと気づくことだけです。

これが、何かを作る前に私が今実行している判断ルールです。ひとつの問いと三つのサブチェックからなる単純なものですが、このルールがなければ作っていたであろう自動化の大半よりも、多くの時間を節約してくれました。

このルールを教えてくれた事例

私は削除することになった自動化を四つ作りました。すべて機能していました。それぞれが何をして、なぜ消えたのかを紹介します。

会議メモの自動要約。 すべての会議の書き起こしに対して走らせたモデルで、通話終了30分後には要約が届きました。問題は、その要約が正確で、しかし役に立たなかったことです。会議メモにはキュレーションが必要で、圧縮ではありません。自動化は発言された量に比例して内容を表示しました。ほとんどの会議で本当に重要だったのは、ためらいがちに一度だけ語られ、私が注釈をつけてブリーフの核にしたであろう、たった一文でした。その一文は要約の中で目立ちませんでした。他の四十九の文と同じに見えたのです。自動化は、各会議のうち最も重要でない部分について、きれいに整形された文書を作り出していました。

代替: 三タグの注釈システム。手動。自動化不可能。

クライアント向けフォローアップ下書きの自動生成。 会議要約からフォローアップメールを起草するモデルです。問題は、差別化した対応が必要な関係性に対して、一律のプロフェッショナルな文体を当てはめてしまったことです。あるクライアントは簡潔さと率直さを求めていました。別のクライアントは温かみと文脈を必要としていました。もう一人は政治的に微妙な立場にあり、慎重な言い回しが必要でした。モデルは正しく、滑らかで、プロフェッショナルなフォローアップを作りました。しかしそれは、あらかじめ印刷されたお悔やみカードが的外れであるのと同じ意味で、その関係にとって間違っていました。文法的には問題ないが、状況にそぐわない。三人のクライアントは、相手側に本物の人間がいないことを感じ取ったような口調で返信してきました。自動化は技術的には正しく、アウトプットはプロフェッショナルとして間違っていたのです。

代替: なし。手書きで書くしかないフォローアップもあります。

ブリーフィング・ダイジェスト。 過去一週間のノートの中で重要とタグ付けされたものすべての日次ダイジェストです。問題は、日次ダイジェストという習慣が、何を重要とタグ付けするかについての選別意識を弱めたことです。システムがすべてを集約してくれるとわかっていると、捕捉する前に何が重要かを決める規律を失います。ダイジェストは蓄積される一方でした。網羅性が選別性に取って代わり、選別性こそが本来の目的だったのです。

代替: 週に一度、十五分の手動レビューで、その週の生のノートに目を通します。実際に何かを動かした三つを選びます。その制約こそが要です。

信頼度スコア。 モデル自身に、自分のリサーチ結果を1から10の信頼度スケールで評価させました。問題は、その数字が捏造だったことです。モデルは信頼度スコアが「らしく見える」パターンをマッチングし、もっともらしい数字を生成していました。私はそれを信じてしまいました。判断そのものではなく、判断の模倣を自動化し、それを判断だと勘違いしていたのです。

代替: 自分自身による不確実性ラベリング。何かが正しいか自信がないときは「CHECK:」と書きます。確信があるときは、その主張をそのまま書きます。このシステムは二値的で、正直です。コストもかかりません。

四つとも、壊れたから削除したのではありません。効率が制約条件ではない場面で、効率を最適化しようとしていたから削除したのです。

判断ルール

何かを自動化する前に、私はひとつの問いを実行します。

このタスクのボトルネックは、かかる時間か、必要とされる判断力か。

答えが時間であれば、自動化は検討する価値があります。

答えが判断力であれば、自動化は避ける価値があります。少なくとも、判断を含むステップだけは自動化が触れない部分にすべきです。

そこから三つのサブチェックが導かれます。

サブチェック1: 失敗はどう見え、どれだけ速く表面化するか。 失敗の中には明白で速いものがあります。自動化が壊れ、何も機能せず、すぐに気づきます。一方で、見えにくく遅い失敗もあります。自動化は動き続け、もっともらしいアウトプットを生成しながら、数週間かけて質を劣化させます。後者のほうが厄介です。構築前に私はこう問います。もしこの自動化が静かに悪いアウトプットを生み出したら、気づくまでにどれくらいかかるか。答えが「一週間以上」であれば、アウトプットが使われる前に人間のチェックポイントを置きたいと思います。使われた後ではなく。

サブチェック2: 私は仕事の表現を自動化しているのか、それとも仕事そのものを自動化しているのか。 これは私が見つけた中で最も重要な区別であり、見逃しやすいものです。良いAIアウトプットは良い仕事に見えるからです。ブリーフの整形、要約の下書き、文書の構造化。これらは思考の表現であって、思考そのものではありません。根底にある思考が自分自身のものであれば、それらを自動化するのは低リスクです。しかし思考が起きる前に表現を自動化してしまうと、完成しているように見えて実は完成していないものが出来上がります。私が作るべき自動化は、判断作業を終えた後にアウトプットを整形するものです。避けるべきは、判断の代わりにアウトプットを生み出すものです。

サブチェック3: このタスクは複利で積み上がるか。 繰り返すほど価値が増す活動があります。パターン認識が育ち、関係性の知識が蓄積し、クライアントの状況に対するモデルが磨かれていきます。複利で積み上がる活動を自動化すると、複利が止まります。機械が反復をこなし、あなたはこなさなくなります。一年経てば差は大きく、三年経てば、自分の領域について本当に深い見識を持つ人と、良いツールを持っているだけの人との差になります。複利で積み上がるものはすべて、自分の手元に残しています。

このルールが許容すること

念のため言っておくと、私は多くを自動化しています。このルールは、何でも手作業でやる懐疑派を生み出すためのものではありません。自動化がどこに向かうべきかを具体化するためのものです。

私はフォーマットと構造を自動化します。すでにキュレーションし注釈をつけた素材の圧縮を自動化します。検索を自動化します。過去の思考をオンデマンドで表面化させるシステムです。スケジューリングとルーティングも自動化します。あるものからあるものへ移すだけの、どんなワークフローの事務的レイヤーもそうです。

私が自動化しないのは、何かに対する自分の最初の見解を言語化することです。関係性の対応も自動化しません。何が重要かを決めるステップも自動化しません。そして、失敗モードが「自信たっぷりに聞こえる誤り」であるものは何も自動化しません。その失敗モードは、明るみに出るまで見えないからです。

問うべきなのは「これは自動化できるか」ではありません。「これがもっともらしい誤答を生んだ場合の本当のコストは何で、誰がそれに気づくのか」です。

私が保持している文書

私は短い文書、判断ログを維持しています。検討したのに作らなかったすべての自動化と、その理由を記録するものです。二十数件のエントリーがあります。実際に稼働させている自動化のリストよりも、これは真に有用です。なぜなら各エントリーには、そのタスクが判断作業である理由についての推論が含まれており、その推論が新しい判断へと転用できるからです。似たようなタスクのために何かを作りたい誘惑にかられるたびに、私はまずこのログを確認します。

自動化しないという決定は、自動化するという決定と同じくらい意図的なものです。意図的に行い、記録すれば、それは見逃した機会ではなくなります。方針になるのです。

その文書、つまり私が使っているツール判断マトリクスと判断ログのフォーマットは、テンプレートとして提供されます。そこにある論理はここで説明したものと同じで、テンプレートはそれを繰り返し使える判断のために再利用可能にするものです。

→ Tool Decision Framework — $39。 構造化された判断マトリクス + 判断ログ。Obsidian や Notion にそのまま組み込めます。(まずはニュースレター読者向けに先行提供します。下記から登録してください。)

削除した自動化は四つ。それぞれが、作れば作るほどよいと考える界隈が決して口にしないことを教えてくれました。問うべきは自動化できるかどうかではありません。二ヶ月後に、自動化してよかったと思えるかどうかです。

Systems の次回 → AIのアウトプットを正直に保つ方法: クライアントに渡す前に実行しているチェック。