測定を先に凍結する
実証の前に、測定項目と「何をもって変化とみなすか」を文書化して固定する。データを見てから基準を決めれば、どんな結果からでも好きな結論が引けてしまう。
人間知能・意識研究所Human-Centered Intelligence Lab測定項目は結果を見る前に固定し、主観・行動・生理の3系統で記録します。直後の気分だけでなく、翌日以降に残る変化まで確認します。研究の進め方そのものにAIを織り込み、その型も公開して検証にさらします。
実証の前に、測定項目と「何をもって変化とみなすか」を文書化して固定する。データを見てから基準を決めれば、どんな結果からでも好きな結論が引けてしまう。
主観報告(既存尺度を使う)、行動・ログ(対話の全文、実際にやったこと)、生理指標(取れる場合)。単一系統だけでは、期待効果と本当の変化を分離できない。
直後の気分は、何をしても良くなりやすい。翌日や1週間後にも変化が残っているか、行動そのものが変わったかを確認する。
サンプルが小さく統制群がない段階では、「効果がある」とは書かない。この段階で報告できるのは、手続きどおりに測定が回るかどうかまでである。
単一系統だけでは、期待効果と本当の変化を分離できません。3系統を照合し、矛盾そのものも結果として扱います。
既存尺度を使い、本人がどう感じたかを同じ条件で比較できる形にする。
対話の全文と実際の行動を記録し、本人の印象だけでは捉えにくい変化を見る。
取得できる場合に限り、注意や負荷に関わる生理指標を補助線として用いる。
文献探索・仮説生成・解析・執筆にAIを織り込む。この型自体を公開して検証にさらす。
先行研究の収集と要約をAIで回し、読む対象の選定に人の時間を使う。
立てた仮説と、棄却した仮説を同じ台帳に残す。消さずに残すこと自体を手続きにする。
解析の手順をコードとして残し、同じ入力から同じ結果が出ることを確認できる形にする。
下書きにAIを使い、事実・数字の出所は人が確認する。AIの推計は推計として明示する。